跳到主要内容
版本:v4.24

2026年版本更新日志

V4.24.13 版本​

2026-10

功能列表​

分库分表能力建设

本期在4.24版本中新增多对一聚合链路及配套数据任务能力,专为解决多张结构一致的物理表需汇聚至单张目标表的整合场景而设计。

  • 核心机制:多对一聚合链路将多张结构一致的物理源表归为一张逻辑表,统一映射到一张目的地表。用户在配置时只需按逻辑表定义目标表结构与字段映射关系,无需为每张物理表逐一重复配置;任务运行时,系统自动读取组内各物理表的数据,按统一映射规则汇聚写入同一目标表,实现"一次配置、多表汇聚"的同步效果。
  • 典型适用场景:
    • 多库同名分片表:分库分表架构下,各分片库中结构一致的同名表需汇聚至一张总表,便于统一分析与查询;
    • 单库多张同结构表:如按时间、区域或业务线拆分的多张流水表,需整合为一张全量表;
    • 其他结构一致、需归并写入的多表整合场景。

本期支持的源节点范围:TDSQL MySQL 集中式及 OceanBase 4 MySQL/Oracle 模式。

该功能显著降低了多表汇聚场景下的配置复杂度与维护成本,避免了逐表配置映射的重复劳动,同时保障了汇聚写入过程的数据完整性与一致性,为分库分表整合、多源归并等典型数据集成需求提供了高效、标准化的解决方案。

Oracle LogMiner 支持 RAC​

本期面向Oracle RAC多实例写入场景,新增跨实例日志采集能力。功能复用现有Oracle节点、LogMiner读取方式及任务配置入口,无需新增独立配置流程,用户可在原有任务体系中直接完成RAC多实例的增量日志采集。针对RAC环境下各实例独立产生Redo日志的特点,系统可协同采集多个实例的日志变更,保障并发写入场景下增量数据的完整性与顺序性。

目前已在非CDB RAC范围完成测试并取得通过记录;CDB及其他部署形态仍需按实际验证范围使用。该能力降低了RAC场景的接入与运维成本,为Oracle高可用架构下的实时数据同步提供了更完整的支撑。

PostgreSQL 系节点接入 CDC Agent​

本期为 PostgreSQL、GaussDB、GBase 8c 及 TDSQL for PostgreSQL 的数据同步新增 Agent读取路径,面向物理日志采集场景,支持全量与增量衔接、任务起点配置及故障续传等关键能力,并完整支持已有的 DML与DDL读取,确保数据变更与结构变更均可正常捕获同步。测试材料已记录采集链路、结构变化同步及旧读取模式回归的验证结果,表明Agent路径具备可用的基础能力。需注意,具体数据库版本、部署形态及Agent交付范围仍需以正式兼容清单为准。该功能为PG系数据库提供了除JDBC、逻辑解码之外的增量采集选择,进一步丰富了异构同步场景下的读取手段。

AS400 Journal CDC 增强​

本期对AS400 Journal CDC的增量采集链路进行可靠性增强,重点优化故障后的增量恢复机制。当同步任务因网络中断、Agent重启或Journal Receiver切换而中断时,系统可从准确的断点继续增量采集,避免数据重复或遗漏。

同时完善字符集解析、Graphic类型处理及历史时区解析能力,确保IBM i特有数据类型在跨系统同步中保持语义一致与内容准确。

该优化显著提升了结构变更与Journal Receiver切换等复杂场景下的数据准确性与同步稳定性,为AS400这一典型封闭式主机平台的企业级实时同步提供了更坚实的可靠性保障。

资源组容量展示与评估​

本期在资源组页面集中展示工作节点的在线状态,以及 CPU、内存、读写并发三项资源的总量、已分配量与剩余量,帮助运维人员直观回答“资源还剩多少、新任务能否运行”的核心问题。

  • 动态容量更新:当工作节点离线时,可用容量随之实时更新,避免因节点异常导致资源统计虚高、任务调度误判。
  • 容量压力预警:容量使用率超过 90% 时,页面通过颜色变化进行提示,帮助运维人员及时发现资源瓶颈,快速排查任务等待、排队等异常原因。
  • 容量预测计算器:配合基于标准环境压测数据形成的容量预测计算器,用户可按数据规模、峰值流量、映射数量、全量完成时限等维度,估算所需节点数量与资源配置,为部署规划、扩容评估和成本测算提供量化依据。

该功能将资源"看得见"与容量"算得准"相结合,提升了大规模同步场景下的资源治理能力与运维决策效率。

适配GoldenDB配置库​

本期为DataPipeline 的新部署场景新增独立GoldenDB配置库类型,用于承载平台元数据、协调状态及任务运行状态的存储与访问,并复用既有访问路径,确保平台核心功能平滑对接。

该配置库类型支持单地址与多地址连接方式,适配集中式GoldenDB部署形态;核心业务回归已按指定集中式GoldenDB版本完成验证,覆盖配置读写、状态同步及任务运行等关键链路。需明确的是,本期能力仅面向新部署场景,不包含存量配置库迁移,存量环境如需切换配置库,需另行评估迁移方案。

该功能进一步扩展了平台配置库的国产化选型范围,为采用GoldenDB的用户提供开箱即用的部署支撑,降低信创环境下的平台落地门槛。

批量部署、操作agent脚本​

本期推出独立命令行批量管理向导,面向多台机器上的Agent安装与日常维护场景,解决逐台登录操作效率低、易出错的问题。

  • 集中化批量操作:运维人员通过维护SSH主机清单,即可集中完成环境预检、首次部署、程序或镜像替换及停止等操作,无需逐台登录处理,显著提升多机环境下的部署与维护效率。
  • 过程可控可追溯:向导会核对各实例的运行状态,并逐台记录执行结果。当遇到失败时,自动暂停后续操作,保留日志与待处理清单,便于运维人员定位问题、修复后继续执行,避免批量操作中的错误扩散。
  • 升级安全无损:升级替换时保留现场配置与运行数据,已停止的实例在程序替换后仍保持停止状态,不会因批量操作被意外拉起,最大程度减少对现有运行环境的影响。

该功能为大规模Agent集群的部署、升级与运维提供了标准化、低风险的操作路径,有效降低批量维护的复杂度与人为失误风险。

TIDB 目的地支持多并发写入​

本期为TiDB目的地新增多写入线程并发写入能力,解决单表同步场景下目标端仅能由单条写入流水线处理数据的性能瓶颈。

  • 核心机制:用户可在任务中为TiDB目的地配置多个写入线程,使同一张有主键的目标表也能充分利用并发写入能力。各线程独立按条数、时间或大小形成Batch批次提交,提升整体写入吞吐;同时,系统保证同一逻辑键的变更严格保持写入顺序,避免并发导致的数据乱序问题。
  • 运维调优:运维人员可在任务暂停后动态调整写入线程数,结合当前积压量、实际写入速率及TiDB集群负载情况,逐步摸索出适配当前链路的最佳并发配置,实现性能与稳定性的平衡。

该功能显著提升了单表同步场景下TiDB目的地的写入效率,为大数据量、高并发写入需求提供了灵活的调优手段。

任务重置功能​

本期新增任务「重置为未激活」能力,解决需要重新选择同步起点或调整任务配置时,以往只能复制任务、更换任务ID的痛点。

  • 核心机制:将已暂停或已完成的任务重置为未激活状态,保留原任务的身份、配置、映射关系及审计日志,同时清理上一轮的同步位点、运行缓存、错误队列及监控统计,使任务回到可重新配置的初始状态。重置成功后,原先因激活而锁定的配置项恢复可编辑,用户确认新的同步起点与写入策略后,手动激活任务即可按新配置运行。
  • 关键价值:外部系统仍可沿用原任务ID进行管理,无需因任务重建而调整上下游依赖,保障了任务标识的连续性与外部集成的稳定性

使用提示:

  • 重置操作不可撤销,执行前请确认任务状态与配置需求;
  • 重置不会清空目标端业务数据,也不会自动触发全量重新同步,需用户根据实际场景自行确认写入策略。

DDL上游变更,修复下游表​

本期新增任务暂停期间源表字段变化的自动适配能力。当任务处于暂停状态、源表发生字段新增或变更后,用户重新执行全量同步或按映射重新初始化时,系统可依据结构策略自动更新目标表结构、表映射及字段映射,减少人工补列与手工调整映射的工作量。

该能力已在六类源端到 TiDB、StarRocks、MySQL 的组合场景完成验证;同时修复了 MySQL(对应节点类型 mysql)在全量单次场景下,暂停期间发生 DDL 后的结构修复问题,提升任务恢复后的同步准确性与稳定性。

该功能降低了结构变更场景下的人工维护成本,增强了任务暂停与恢复过程中的结构一致性保障。

支持 SQL Server 事务日志解析型 CDC(Transaction Log 模式)​

本期新增 Transaction Log 模式读取能力,面向需要追踪逐次变更与事务顺序的数据同步场景。该模式直接读取 SQL Server 活动事务日志,并可在日志备份连续、校验通过的条件下恢复采集,保障链路中断后的增量连续性。

在已支持的数据类型与日志格式范围内,可解析已提交的增删改操作、更新前后镜像及回滚行为,为数据同步和变更追溯提供更完整的增量信息。该模式采用独立检查点,不依赖读取 CDC 变更表中的数据;但源库仍需开启 CDC,并安装匹配的签名 SQLCLR 组件。

其他优化&修复:​

本期实际发版关联范围包含 17 个故障修复,重点覆盖以下方向:

  1. CDC 解析与数据一致性:修复 Oracle Agent 在 SCN 子序号、中文表名字典持久化、多 PDB 与 RAC 检查点场景中的采集中断或恢复异常;处理 GoldenDB Binlog 的心跳重连和时间字段传递问题,以及 MySQL 默认表达式解析导致的字段变更遗漏。
  2. 任务恢复与运行稳定性:改善 Oracle Agent 灾备恢复位点、达梦 Agent HA 备机状态判断、MySQL 暂停后重新全量初始化,以及新增同源第二目的地后的增量衔接;修复 Kafka 到 TDSQL 单表同步中的分区上下文异常。
  3. 节点与平台可用性:修复 GBase 8c 节点校验后未保存探测到的 CN/DN、Webhook 告警时间参数未生效及 Redis 组件版本兼容问题,减少配置和运维环节的异常。
  4. 字段转换与写入体验:修复 MySQL 到 TiDB 链路中超过 24 小时的 TIME 值进入错误队列,以及达梦到 Doris 链路中 NCHAR 到 VARCHAR 的转换问题。

V4.24.12 版本​

2026-9

功能列表​

部署安装包瘦身优化​

面向安装包内容冗余和部署交付效率问题,本期对 DP 4.24.12、DP 5.12 的新运行时安装包进行瘦身,形成面向升级和全新部署的轻量化交付方式。通过 Connector Client 去重共享、Docker 镜像布局清理、交付制品增量复用和完整离线包压缩,将安装包调整为更轻量、可追溯、可校验且能够安全失败和回退的标准交付体系。

  • 通过共享 Bundle 消除同节点重复 Client。
  • 通过单 JAR SHA 和集合 SHA 实现内容复用、完整性校验和版本防错配。
  • 通过镜像层清理减少重复 JDK、缓存、归档及权限层。
  • 通过一次导出镜像和 Zstd 压缩降低完整包运输体积。
  • 通过随包静态工具、安全解包和明确的导入/启动步骤保证断网可用。
  • 通过 5.x 全新安装和 4.24 专用迁移流程兼顾新版本交付与存量客户升级。
  • 通过预检、临时组装、事务化切换和成组回退降低升级风险。

当前 AMD64 三节点样本已验证完整包可以压缩至 3.098 GB,并完成打包、回解、镜像锁和 Client 完整性检查。

TiDB 8.5.0 LTS 适配​

本期为 TiDB 节点新增 8.x.y 版本入口,并以 TiDB 8.5.0 LTS 作为本期验收基线。源端全面覆盖 JDBC 全量读取与 TiCDC 实时同步两种方式,满足全量与增量场景下的数据抽取需求;目的端沿用现有成熟能力,支持建表、结构变更、DML、批量写入及索引创建等操作。该适配进一步扩展了产品对 TiDB 新版本生态的覆盖,为企业升级至 TiDB 8.x LTS 提供平滑、可靠的数据同步保障。

采集代理默认警告策略系统化​

本期将采集代理的默认告警策略调整为系统级默认参数,统一代理告警的默认配置入口,解决此前告警策略分散在节点或任务级别、重复设置、配置不一致的问题。

管理员可在系统级参数中集中维护采集代理的默认告警行为(如延迟阈值、状态检查规则、报错触发条件等),新建节点或任务时自动继承系统级默认配置,无需逐一手工设置。

该优化为采集代理的批量接入和一致化运维提供了基础:新增节点可开箱即用地获得标准化告警能力,既降低了配置遗漏风险,又确保了多节点、多任务间告警行为的统一性,显著提升大规模环境下的运维效率与规范性。

达梦 V8 日志解析​

本期达梦节点新增Agent读取方式,覆盖达梦8的单机、主备及DSC三种部署场景,支持从在线日志与归档日志中采集增量数据,满足高实时性同步需求。

能力范围全面,涵盖常用DML、已建模DDL、LOB、批量更新、回滚、SAVEPOINT及大事务处理,确保复杂业务场景下的数据变更完整捕获。同时配套Agent监控、告警、升级、回滚及高可用候选配置,实现采集代理的全生命周期管理。

原有JDBC、LogMiner读取方式不受影响,用户可按场景灵活选择。需注意,不同平台与加密场景仍需按已验证范围使用,以保障兼容性与稳定性。该功能进一步丰富了达梦同步的读取手段,为国产数据库实时同步提供更优性能底座。

TDSQL for PostgreSQL 支持 TRUNCATE 与指定起点​

本期 TDSQL for PostgreSQL 源节点新增指定 LSN 起点能力。LSN(Log Sequence Number)是 PostgreSQL WAL 日志的唯一位置标识,用户可在任务配置中手动输入或选择目标 LSN,从该日志位点开始增量读取,而非只能依赖当前最新位点或时间点。

该功能适用于断点续传、精准补数、故障恢复、数据校验后重同步等场景,可有效避免因位点丢失或偏差导致的全量重跑,降低源库压力与同步延迟,提升数据同步链路的连续性与可控性。使用时需确保指定 LSN 对应的 WAL 日志仍保留在源端,避免因日志清理导致起点失效。

TDSQL FOR pg+gaussdb日志补全权限检查​

本期为 TDSQL for PostgreSQL 与 GaussDB 源节点新增日志补全权限检查能力。在节点策略的「日志补全校验策略」中,用户可选择强校验模式。开启后,系统会在任务激活或重启前,自动检查当前实际同步表的日志补全状态。若检查结果为非 FULL、结果未知或查询失败,均直接阻断任务启动,避免因权限不足或日志补全缺失导致增量数据捕获不完整、更新前镜像丢失等风险。该功能将校验动作前置,有效提升了任务启动的安全性与可靠性,保障 TDSQL for PostgreSQL 与 GaussDB 实时同步链路的数据一致性。

适配中创中间件​

本期完成数据同步产品在中创应用服务器环境下的适配与验证,覆盖数据节点、数据链路、数据任务及日志策略等主要操作流程。用户可在该国产中间件环境中正常完成节点管理、链路配置、任务创建与运行,并继续使用已有的数据筛选与增量DDL同步能力。适配过程中对部署兼容性、接口调用、日志输出及权限控制等环节进行了回归验证,确保产品在信创中间件环境下稳定运行。该能力进一步扩展了产品的国产化部署版图,为金融、政务等对中间件自主可控有明确要求的客户提供开箱即用的数据同步方案,降低信创迁移与落地成本。

其他优化&修复:​

本期实际发版关联范围包含 20 个故障修复,重点覆盖以下方向:

  1. CDC 解析与一致性:修复 Oracle Agent 在归档补读、RAC 水位、大事务恢复和宽行更新场景中的积压、内存溢出及数据异常,同时处理 GBase 8s CDC 跨日志文件解析和恢复问题。
  2. 任务运行与资源稳定性:修复 Runtime 任务容器启动超时后的进程拉起问题,以及 Kafka Sink 重复创建隔离类加载器导致的内存耗尽风险。
  3. 映射与元数据体验:改善 Oracle 大规模表映射刷新、TiDB 到达梦字段映射、达梦跨 Schema 字段注释、已有表匹配及 Hologres 存储配置等问题。
  4. 节点与平台可用性:修复 ArgoDB 参数生效及写入缓存、Paimon 端口展示、Agent Topic 分页、任务完成状态统计、检查点起点选择和批量配置导出等问题。

V4.24.11 版本​

2026-8

功能列表​

平台级智能性能与故障诊断​

本期新增智能诊断助手功能,旨在降低数据同步产品运维场景下的故障排查门槛。该功能面向性能波动、组件异常、任务故障等常见运维问题,通过主机与容器识别、日志与运行指标采集、任务运行位置定位等能力,辅助用户从现象逐步下钻至问题环节,快速定位根因。

  • 首期方案支持Docker部署,并在系统设置中新增「智能诊断」模块,包含配置管理与智能诊断两个子模块:
  • 配置管理:支持LLM配置(目前可选择DeepSeek大模型)与DP所在主机信息配置,完成诊断助手的基礎环境接入。
  • 智能诊断:提供对话式交互界面,用户可通过自然语言描述问题现象,助手自动采集相关运行数据并给出诊断建议,会话记录将自动保存便于回溯。

后续规划接入多轮对话、诊断工具链与可视化报告能力,进一步降低复杂命令排查的使用门槛。大模型可选范围及部署限制以最终发布配置为准。

Kafka 3.8.1 与 4.0.x 适配​

Kafka 数据节点新增 3.8.1 与 4.0.x 版本适配,覆盖源端消费和目的地写入场景。用户可沿用现有节点创建、连接测试、链路配置、任务运行及异常提示流程接入新版本集群;源端继续维护消费位点,目的地按既有方式写入 Topic。

新增映射默认“全量+增量”提示​

针对运行中任务新增表映射后同步行为不够直观的问题,本期在操作界面补充默认“先全量初始化、再进入增量同步”的明确提示,并在映射列表展示新增映射的同步起点。需要不同起点时,用户可通过“分映射指定同步起点”按需配置。产品手册同步补充行为说明,帮助用户在执行操作前形成清晰预期。

Quartz后台任务监控(Oceanbase节点 Topic回收功能支持)​

本期在数据任务-任务概览模块新增Quartz后台任务监控功能,旨在增强平台后台调度任务的可观测性与运维效率。

DataPipeline数据管理平台基于Quartz Scheduler实现后台定时任务调度,负责数据同步任务的定期触发、系统维护任务的自动执行等核心功能。该监控能力可展示当前DP后台执行的所有定时任务,用户可一站式查看以下信息:

  • 任务详情:任务名称、下次执行时间、定时配置(Cron表达式)、当前状态等
  • 筛选能力:支持按任务名称、状态等条件快速过滤,精准定位目标任务
  • 异常识别:快速发现超时、阻塞、失败等异常任务,及时介入处理
  • 集群健康:通过任务执行情况了解集群节点健康状况

此外,本期同步处理了OceanBase Topic回收功能(同样基于后台定时任务实现),确保相关资源得到有效管理。该监控能力为运维人员提供了统一的后台任务观测窗口,有效降低了排查成本。

GaussDB 支持 TRUNCATE​

本期为GaussDB同步链路补充了TRUNCATE操作的同步支持,使目标端能够跟随源端的表级清理动作保持数据一致性。

此前,源端执行TRUNCATE清空表数据时,目标端只能选择暂停或忽略,导致两端数据状态不一致。本次优化通过在DDL同步能力中扩展TRUNCATE语句的捕获、解析与执行链路,确保该操作在目标端自动同步执行,且目标端可通过配置化方式灵活选择执行策略。

该功能适用于数据迁移、容灾等场景,有效减少了因表数据清理动作不一致导致的人工同步成本和数据偏差风险。

大规模选表配置优化​

本期在链路配置的选表环节新增批量添加能力,提供两种高效模式,旨在解决大规模选表场景下的配置效率问题。

  1. 批量导入模式

用户可下载标准Excel模板,按模板格式填写database(一级范围)、schema(二级范围)、表名/对象名。上传后系统自动解析并展示校验结果,每条记录对应异常或可保存两种状态。异常情况会明确展示原因:①该表已添加到当前映射(重复添加);②源端不存在该对象(表名错误或已被删除)。用户可根据校验结果修正后重新上传,确保配置准确无误。

  1. 精确查询模式

用户先选择目标database/schema,再输入精确的表名称,系统实时查询生产库。若查询命中,即可一键将表添加到映射列表。该模式适用于已知具体表名、需要快速补充的场景,避免了在庞大表列表中逐页翻找的繁琐操作。

典型使用场景

  • 批量导入模式:适用于数据迁移或容灾配置初期,需一次性将成百上千张表纳入同步范围,通过模板批量提交,大幅降低重复配置成本。
  • 精确查询模式:适用于任务迭代过程中新增少量表,或需快速补充某张特定表的同步配置,精准定位、即时添加,减少干扰。

两种模式互为补充,全面提升了链路配置的灵活性与操作效率。

其他优化&修复:​

本期实际发版关联范围包含 43 个故障修复,重点覆盖以下方向:

  1. CDC 一致性与解析稳定性:修复 Oracle Agent 在大事务、回滚、行迁移、在线列改造、字段删除及数值边界场景中的错位、漏投、数据不一致和序列化异常问题。
  2. 节点兼容与数据处理:改善 GBase 8s 非 UTF-8 中文解析、GaussDB 增量读取、MongoDB 时间戳格式、HBase 逻辑主键、PostgreSQL 分区表元数据等问题。
  3. 任务运行与恢复:处理运行时任务分配、资源组更新、定时任务延迟、映射增减死锁、错误队列和全量任务执行异常,增强任务稳定性。
  4. 连接器与平台安全:修复 RocketMQ、MaxCompute、ArgoDB、Hudi 等节点或连接器异常,并处理组件安全扫描问题。

V4.24.7 版本​

2026-4

功能列表​

新增Oceanbase节点采集代理延迟预警​

本期新增OceanBase节点采集代理延迟预警能力,覆盖以下预警规则:采集代理报错(如连接失败、解析异常等)、采集代理状态(运行/停止)、采集代理业务监控指标(重点为采集延迟阈值)、节点可用性检查。

信息

特别注意:连通性校验触发节点报错并记录日志类型为节点报错,此时预警系统发送采集代理报错类信息,避免因校验本身产生误报。

该功能帮助运维人员实时掌握采集代理健康状态,及时发现同步延迟风险,提升OceanBase数据同步链路可观测性与故障响应效率。

适配 Kafka 3.6.2作为目的地​

本期新增对 Kafka 3.6.2 作为数据目的地节点的全面支持。通过Kafka客户端API实现高效数据写入,并完整适配企业级认证体系,包括信任认证、口令认证、SCRAM认证及Kerberos认证,满足不同安全等级的接入需求。同时支持Avro和String两种序列化器,其中Avro序列化需配合Schema Registry实现结构化消息的精确编码与兼容性校验,String序列化则适用于纯文本或JSON格式输出。

该功能使DataPipeline能够将实时变更数据无缝写入Kafka消息队列,为下游流计算、数据湖及事件驱动架构提供高吞吐、低延迟的数据源,进一步扩展了产品在消息中间件生态的集成能力。

资源组优化一期-可观测性优化​

本次对系统设置中的资源组管理页面进行全面改造,重点增强可观测性并精简冗余信息。新增以下核心展示维度:

  • 运行时组件:明确展示每个资源组所使用的Runtime组件类型
  • Worker列表:显示资源组下所有ConnectDP组件的Worker实例
  • Worker状态:实时标识Worker的在线/下线状态
  • Worker资源:从task_manager_resource表中读取逻辑资源与已使用资源(CPU/内存)

资源组列表重新设计,展示字段包括:资源组名称、协调节点、已配置任务数、CPU配额、内存配额,以及操作入口(查看Worker、查看任务、编辑配置)。同时删除原有无效监控项与冗余配置项。

该优化使运维人员能够直观掌握资源组底层的Worker分布、健康状态及资源消耗,提升了分布式同步环境下的资源调度与故障排查效率。

高级清洗显示应用的脚本模板名称​

本期对数据同步任务中的高级清洗功能进行体验优化。此前,用户在选择清洗模板(无论是系统预置常用模板还是用户自定义保存的模板)后,高级清洗配置页面未显示当前所应用模板的名称,导致在多模板切换或任务复查时难以快速识别脚本来源。

本次优化后,高级清洗配置页面将明确显示当前选中的模板名称。用户在配置页面可直观看到模板名称,且切换模板时名称同步更新,显著提升了脚本管理的清晰度与操作效率,减少了因模板混淆导致的配置错误。

DP中间件Tomcat替换为宝蓝德​

本期DP中间件新增适配宝兰德。适配后,一方面DP中间件提升了在宝兰德运行环境下的兼容性和稳定性,为金融、政务等关键行业提供了更多信创部署选择;另一方面通过整合宝兰德基础软件生态的运维监控能力,可显著降低跨平台异构环境下的配置复杂度与运维成本,加快信创产品的规模化落地。此次拓展不仅强化了DP中间件的信创生态兼容能力,还为未来深入适配国产化全栈生态、利用平台统一管理能力打下了技术基础。

其他优化&修复:​
  1. 优化 任务策略删除数据任务的默认预警指标「任务报错」
  2. 优化 DP登录校验——调整敏感度
  3. 修复 StarRocks delete 操作,生成 Stream Load 的 columns 参数,使用了 SQL 关键字 key,没有转义
  4. 修复 非容器化部署dameng作为源端时区减8小时 完成
  5. 修复 Oracle Source RENAME TABLE 策略未生效(小写表名场景)
  6. 修复 Oracle Agent SEND 线程 Avro 序列化瓶颈导致发送吞吐仅 2000 rec/s,延迟持续增长直至崩溃
  7. 修复 Oracle LogMiner CDC 延迟优化与稳定性修复
  8. 修复 默认DP_SINK_ENABLE_DEST_PIPE_THREAD_POOL=true池化下的丢失写入问题
  9. 修复 使用映射规则设置批量设置并发分区,源表存在主键但使用非主键字段进行并发分区设置
  10. 修复 数据链路添加同步表时输入字符匹配会异常显示两遍
  11. 修复 4.24.4之前版本升级最新版本启动报错
  12. 修复 【ftp】ftp节点没有上传ssl认证文件的地方,不上传文件节点连通性校验报错
  13. 修复 【Oragent】getRowDataFromDb 未捕获 SQLException 导致进程崩溃反复重启
  14. 修复 Hive Connector Source/Sink 性能修复与优化
  15. 修复 dameng dsc使用备节点做源,给增量会报错cannot add duplicate logfile

V4.24.6 版本​

2026-3

功能列表​

zk、kafka开启plain后,高可用、Agent等功能不可用​

本次针对ZooKeeper和Kafka开启Plain认证后的功能缺失进行全面适配,解决高可用节点及Agent因认证阻断导致无法通信的问题。

适配范围:盖Oracle、OceanBase、MySQL、NewMySQL、TDSQL、达梦等高可用节点,以及Oracle、OceanBase、TiDB等Agent读取节点(DB2/AS400因IBM CDC API限制无法支持)。同时支持外部Kafka缓存节点在页面配置Plain认证信息。

适配内容:

  • 高可用节点适配
    • ZooKeeper连接支持配置Plain认证参数(用户名/密码)
    • 节点选举与故障转移过程中的元数据存储/读取适配认证链路
  • Agent读取节点适配
    • Agent与ZooKeeper间的通信支持认证握手
    • Web端可正常获取加密后的Agent状态与节点高可用信息
  • 外部Kafka缓存支持
    • 支持在页面配置Kafka Plain认证的用户名和密码
    • 适用于使用外部Kafka作为数据缓存的数据节点

核心价值:确保启用认证后,高可用选举、Agent状态上报、Web端元数据获取等功能恢复正常,保障生产环境安全合规下的同步任务稳定运行。

位点逻辑重构(一期)​

由于 DataPipeline 历史有关位点的(指定起点)机制存在逻辑混乱、实现不统一、历史故障多等问题,因此本次重构从框架层彻底规范位点处理流程。

  • 位点一致性:
    • 问题:首次激活与二次重置时位点不一致,后端依赖差异反推模式,逻辑复杂且易错
    • 重构方案:统一位点模型,消除激活与重置间的差异,无需反推
  • 映射级完善:
    • 问题:节点统一位点和分映射位点支持功能不统一,部分节点的分映射功能不够完善
    • 重构方案:修复映射位点保持能力统一,框架层保证一致性
  • 实现方式:
    • 问题:分布式/集中式/Agent节点的位点处理逻辑散落在各连接器,重复且混乱
    • 重构方案:框架层统一处理位点恢复与重置,连接器仅实现差异化接口
  • 职责边界:
  • 问题:需要时临时计算,哪里需要哪里重算,逻辑混乱
  • 重构方案:明确各组件作用边界,规范位点处理标准步骤,框架层与连接器层职责分离
  • 历史故障:
  • 问题:旧位点模式遗留多种故障场景
  • 重构方案:一并修复,提升系统稳定性

本次重构将位点管理从“连接器各自为政”升级为“框架层统一调度”,大幅降低开发复杂度与故障率,为后续分布式节点扩展奠定坚实基础。

MySQL系增量解析性能优化​

本次针对MySQL系的增量解析机制进行深度优化,核心改进为引入GTID缓存。在旧版逻辑中,每次解析增量日志需重复读取和计算GTID信息,导致大量冗余IO与解析开销。优化后,系统将解析后的GTID进行本地缓存,后续直接复用,大幅减少重复工作。

性能对比:以NewMySQL为例,优化前p95读速率为6.05MB/s,优化后飙升至35.51MB/s,提升幅度高达486.9%,效果极其显著。

该优化不仅显著降低了增量同步延迟,还减轻了源库日志读取压力,尤其适用于高并发、大事务场景。整体上提升了MySQL系数据同步的吞吐能力与稳定性,为用户带来更高效的实时数据管道体验。

页面登录用户定期更新密码​

本次对用户登录功能进行增强,新增用户密码到期管理能力。管理员可根据企业安全策略,在系统中灵活配置密码有效期(如90天),密码到期后用户可以选择「忽略并继续使用当前密码」或者选择「重置密码」。也可设置是否开启“强制修改”模式,当开启强制修改后,可以配置临期提示。设置临期提示时长后,系统将在密码临期时向用户推送提醒通知,到期后强制用户修改密码方可继续使用。

该功能有效满足了等保合规及企业安全审计对密码定期更新的要求,帮助组织主动防范密码泄露风险,提升账户安全性。同时,临期提醒与强制修改相结合,既保障了用户体验,又强化了安全管理闭环,为企业级数据同步平台的身份认证体系提供了更完善的治理能力。

OceanBase 4.3.5.4版本适配支持说明​

本期数据同步产品新增对OceanBase 4.3.5.4版本的全链路支持,可将其作为数据源与目的地进行高效同步。作为源端,支持通过JDBC进行全量及增量数据读取,同时提供OB_LogReader日志解析方式,实现低延迟的实时增量捕获;作为目的端,支持通过JDBC写入,兼容集中式与分布式部署架构。支持节点和Agent的高可用管理。

该版本适配完整覆盖了DataPipeline的核心同步能力,包括DML/DDL同步、全字段类型支持、全量初始化、断点续传及高级清洗等功能。通过深度适配OceanBase最新版本,进一步强化了产品在国产分布式数据库领域的生态兼容性,为金融、政务等高要求场景下的数据集成提供了稳定、高效、可信的管道支撑。

其他优化及缺陷修复​

位点逻辑重构需求修复问题:​
  1. 修复:mysql源端无并发分区(dbz)内存模式,统一起点激活时间起点启动不读取数据
  2. 修复【oracle】源端激活任务报错:Caused by: java.lang.NullPointerException: Cannot invoke "com.datapipeline.base.connector.source.model.SchemaDefinition.getColumns()"
  3. 修复【oceanbase】带并发读取增量任务,全量初始化后,再使用指定起点功能,任务不再读取增量,agent-topic中有数据进入
  4. 修复【newpg】【gaussdb】【vastbase】【tdsql for pg(oracle,pg)】【gbase8c】【mogdb】的统一起点配置,使用激活时间为起点,会读暂停期间给的增量;使用全量初始化,暂停期间给的增量会多读1遍
  5. 修复【mysql】源端「内存模式」下,设置指定位点激活,不读数据,新给增量数据可读
  6. 修复【polardb】分映射指定起点(表1包含分区,表2,3无分区),表2由全量初始化-暂停时进度-激活任务时间为起点,状态变化时数据不符合预期
  7. 修复【mysql】多映射-指定起点功能失效;mysql源,统一起点设置为全量初始化后给增量,暂停修改为分映射起点,会重读全量
其他优化&修复:​
  1. 优化 【达梦】logminer读取性能
  2. 优化 默认值和注释的引号边界符处理
  3. 优化 索引冲突处理过程的反查查询条件没有区分数据类型 - 剩余节点补全
  4. 修复【Ob-Oracle】源到【kafka】偶现丢失数据
  5. 修复源端【mysql】节点联合主键表,目的端【tdsql】,多次更改主键后insert,再delete操作后,目的地数据不删除
  6. 修复【达梦】表的字段注释信息没有设置到 EntityField 对象上
  7. 修复导出链路后迁移到新环境JSON文件太大导致导入失败
  8. inceptor_orc源表链路映射到目的地表有diff,实际进入字段映射没有 完成
  9. 修复【hbase】(kerberos认证)获取表是否存在报错 完成

V4.24.5 版本​

2026-2

功能列表​

Kafka 作为目的地时,要求 Topic 能输出 DDL 执行信息​

本期新增功能支持在Kafka作为目的地时,将DDL执行信息输出到指定Topic中,且需选择结构变化策略为在目的地执行,才能够。该功能通过开启开关控制,使数据同步过程中的表结构变更能够被下游系统捕获和响应。根据序列器类型不同,配置要求有所区别:

  • Avro序列器:需要在高级清洗脚本中明确定义DDL结构,以确保序列化正确。此外,使用 Schema Registry 其兼容性检查设置为 FULL 或 BACKWARD时,如果源端执行了字段精度、标度等结构修改,可能会因兼容性校验失败而报错,在使用该功能时需要注意
  • String序列器:则在清洗脚本中配置DDL结构,使用相对简单。

使用该功能时需特别注意:在Avro模式下,Schema Registry 的严格兼容性设置可能阻塞某些结构变更,建议结合业务需求合理设计Schema演化策略,或选择String序列器以避免兼容性问题。

适配 GoldenDB 作为目的地​

本期新增对 GoldenDB 6.1.02 版本作为目的地节点的全面支持,通过JDBC写入方式,实现了与GoldenDB的无缝对接。该功能兼容GoldenDB的集中式和分布式两种部署架构,能够满足不同规模业务的需求。在表类型支持上,支持创建和写入单点表、分片表及广播表,确保数据路由与存储符合GoldenDB的分布式规则。同时,产品完整保留了数据同步的核心能力,包括DML与DDL语句的同步执行、全字段类型适配、全量初始化以及灵活的大小写设置,为用户在国产分布式数据库环境下的数据集成提供了稳定、高效的解决方案,进一步丰富了信创生态的同步能力。

适配 OceanBase 数据库 4.2.5.6 版本​

本期新增对OceanBase 4.2.5.6版本的全链路支持,可将其同时作为数据源与目的地进行高效同步。作为源端时,支持通过OB Agent日志解析方式实时捕获增量数据,也可通过JDBC进行全量或增量查询;作为目的端时,支持通过JDBC写入,兼容集中式与分布式部署模式。该功能完整覆盖了数据同步的基本能力,包括DML/DDL同步、全字段类型适配、全量初始化、大小写设置及断点续传等。通过深度适配OceanBase的最新版本,产品进一步提升了在分布式数据库领域的生态兼容性,为用户在金融、政务等场景下的国产数据库数据集成提供了稳定、高效的管道支持。

其他优化及缺陷修复​

  1. 修复【Oracle Agent】 重启后事务数据重复导致整合失败 (CMT_TRANS 缺少 XID 去重机制)
  2. 修复【Oracle Agent】行链接 HEAD piece 合并失败时未遵循 skip_merge_fail/query_merge_fail 配置,导致不完整数据被输出
  3. 修复【IBM CDC】多表任务激活性能问题:全局锁和不合理的超时计算导致大表量场景激活失败
  4. 修复 4.24.3版本安全漏洞修复
  5. 修复 数据校验列表问题汇总
  6. 修复 任务中修改映射时,无法取消已选择的映射
  7. 修复 生产环境源端达梦报错 StringIndexOutOfBoundsException
  8. 修复【starrocks】源端出现boolean类型字段,读取数据报错
  9. 修复 QMD(Quick Multi-Delete)操作生成错误 RowID,导致 DELETE 记录与 LogMiner 不一致 完成
  10. 修复 【Oracle Agent】RAC 环境下新建分区丢失数据
  11. 修复【TdsqlPg支持pgoutput】pg和oracle兼容模式的tdsqlpg不支持表名包含引号
  12. 修复 yashan新建节点,链路展示数据库被赋值成了schema
  13. 修复 【GBase 8s CDC】指定起点输入起点Gbase 8s CDC 记录序列号无法输入

V4.24.4 版本​

2026-1

功能列表​

Paimon 节点的策略配置和全量初始化中的删除重建需要从 Paimon 中获取表的元数据信息​

针对Paimon不支持原生TRUNCATE操作的限制,本次优化针对源节点表结构变更TRUNCATE操作新增了的“删除重建”的策略选项。当同步任务选择该策略或任务执行进行全量初始化时,可采用删除重建的选项。其关键在于,在重建表前会优先从Paimon目的端读取该表的精确元数据(如字段、分区结构),确保新建表与源端目标结构及历史定义完全一致,从而在完成数据清空或初始化任务的同时,保障了表结构的连续性与异构系统间的可靠兼容。

编辑密码置空可改为可配置​

此次新增的“密码是否返回为空”配置项,是数据同步产品在安全与易用性平衡上的一次精细化管理升级。系统管理员现可在系统配置-密码策略中配置“是否允许接口返回节点密码信息”,根据团队的安全规范选择“体验优先”或“安全优先”模式。

  • 选择“体验优先”时,在查看或编辑数据节点配置页面,系统会返回已加密存储的密码密文。这避免了用户在每次调整连接参数时都需重新输入密码,极大提升了日常运维与调试的效率。
  • 选择“安全优先”时,则遵循更严格的零信任原则,接口在任何情况下均不返回密码信息(即使加密形式)。这意味着任何对节点配置的修改操作,都必须由用户重新输入正确的密码进行验证,从而确保了密码信息的绝对可控,有效防止了通过界面或接口的潜在泄露风险。

该功能将安全策略的选择权交给了客户,允许不同安全等级要求的团队灵活定义自身的管控基线。

分页性能优化​

本次对节点、链路/映射、任务列表的加载性能优化,主要针对海量数据场景下的翻页与渲染效率瓶颈。通过重构后端分页查询、优化数据库索引、引入前端虚拟滚动与缓存策略,并对大规模数据实施分批异步加载,显著提升了列表操作的响应速度与流畅度。

列表首屏加载时间以及翻页操作响应时间从原来的2-3s秒缩短至300ms秒左右,有效避免了长时间操作可能引发的页面卡顿或崩溃问题。这项优化大幅改善了用户在处理大规模数据同步任务时的日常管理体验,使运维操作更加高效顺畅。

其他优化及缺陷修复​

  1. 修复【MRS-HDFS\&Hive版本适配】HDFS 源文件配置,添加源文件为链路目的地新建文件,添加显示文件以存在
  2. 修复 PG 系节点表名带引号的表加载不到dp里
  3. 修复 Starrocks节点streamload写入连接大量未关闭
  4. 修复【Runtime kafka connect故障遗留】offset并发提交导致的报错
  5. 修复【Runtime-taskManager-池化】task-manager启动报错进程不退出
  6. 修复 写入 PG 目的地, Socket 层读取超时导致线程卡住
  7. 修复 inceptor_orc源表链路映射到目的地表有diff,实际进入字段映射没有
  8. 修复 mogdb作为目的地,当选择的策略为「数据源清空正在同步的表」 - 自动在目的地清空同步的表的数据,目的地并没有清空