2026年版本更新日志
V5.6 版本
2026-3
功能列表
zk、kafka开启plain后,高可用、Agent等功能不可用
本次针对ZooKeeper和Kafka开启Plain认证后的功能缺失进行全面适配,解决高可用节点及Agent因认证阻断导致无法通信的问题。
适配范围:盖Oracle、OceanBase、MySQL、NewMySQL、TDSQL、达梦等高可用节点,以及Oracle、OceanBase、TiDB等Agent读取节点(DB2/AS400因IBM CDC API限制无法支持)。同时支持外部Kafka缓存节点在页面配置Plain认证信息。
适配内容:
- 高可用节点适配
- ZooKeeper连接支持配置Plain认证参数(用户名/密码)
- 节点选举与故障转移过程中的元数据存储/读取适配认证链路
- Agent读取节点适配
- Agent与ZooKeeper间的通信支持认证握手
- Web端可正常获取加密后的Agent状态与节点高可用信息
- 外部Kafka缓存支持
- 支持在页面配置Kafka Plain认证的用户名和密码
- 适用于使用外部Kafka作为数据缓存的数据节点
核心价值:确保启用认证后,高可用选举、Agent状态上报、Web端元数据获取等功能恢复正常,保障生产环境安全合规下的同步任务稳定运行。
位点逻辑重构(一期)
由于 DataPipeline 历史有关位点的(指定起点)机制存在逻辑混乱、实现不统一、历史故障多等问题,因此本次重构从框架层彻底规范位点处理流程。
- 位点一致性:
- 问题:首次激活与二次重置时位点不一致,后端依赖差异反推模式,逻辑复杂且易错
- 重构方案:统一位点模型,消除激活与重置间的差异,无需反推
- 映射级完善:
- 问题:节点统一位点和分映射位点支持功能不统一,部分节点的分映射功能不够完善
- 重构方案:修复映射位点保持能力统一,框架层保证一致性
- 实现方式:
- 问题:分布式/集中式/Agent节点的位点处理逻辑散落在各连接器,重复且混乱
- 重构方案:框架层统一处理位点恢复与重置,连接器仅实现差异化接口
- 职责边界:
- 问题:需要时临时计算,哪里需要哪里重算,逻辑混乱
- 重构方案:明确各组件作用边界,规范位点处理标准步骤,框架层与连接器层职责分离
- 历史故障:
- 问题:旧位点模式遗留多种故障场景
- 重构方案:一并修复,提升系统稳定性
本次重构将位点管理从“连接器各自为政”升级为“框架层统一调度”,大幅降低开发复杂度与故障率,为后续分布式节点扩展奠定坚实基础。
MySQL系增量解析性能优化
本次针对MySQL系的增量解析机制进行深度优化,核心改进为引入GTID缓存。在旧版逻辑中,每次解析增量日志需重复读取和计算GTID信息,导致大量冗余IO与解析开销。优化后,系统将解析后的GTID进行本地缓存,后续直接复用,大幅减少重复工作。
性能对比:以NewMySQL为例,优化前p95读速率为6.05MB/s,优化后飙升至35.51MB/s,提升幅度高达486.9%,效果极其显著。
该优化不仅显著降低了增量同步延迟,还减轻了源库日志读取压力,尤其适用于高并发、大事务场景。整体上提升了MySQL系数据同步的吞吐能力与稳定性,为用户带来更高效的实时数据管道体验。
页面登录用户定期更新密码
本次对用户登录功能进行增强,新增用户密码到期管理能力。管理员可根据企业安全策略,在系统中灵活配置密码有效期(如90天),密码到期后用户可以选择「忽略并继续使用当前密码」或者选择「重置密码」。也可设置是否开启“强制修改”模式,当开启强制修改后,可以配置临期提示。设置临期提示时长后,系统将在密码临期时向用户推送提醒通知,到期后强制用户修改密码方可继续使用。
该功能有效满足了等保合规及企业安全审计对密码定期更新的要求,帮助组织主动防范密码泄露风险,提升账户安全性。同时,临期提醒与强制修改相结合,既保障了用户体验,又强化了安全管理闭环,为企业级数据同步平台的身份认证体系提供了更完善的治理能力。
其他优化及缺陷修复
位点逻辑重构需求修复问题:
- 修复:mysql源端无并发分区(dbz)内存模式,统一起点激活时间起点启动不读取数据
- 修复【oracle】源端激活任务报错:Caused by: java.lang.NullPointerException: Cannot invoke "com.datapipeline.base.connector.source.model.SchemaDefinition.getColumns()"
- 修复【oceanbase】带并发读取增量任务,全量初始化后,再使用指定起点功能,任务不再读取增量,agent-topic中有数据进入
- 修复【newpg】【gaussdb】【vastbase】【tdsql for pg(oracle,pg)】【gbase8c】【mogdb】的统一起点配置,使用激活时间为起点,会读暂停期间给的增量;使用全量初始化,暂停期间给的增量会多读1遍
- 修复【mysql】源端「内存模式」下,设置指定位点激活,不读数据,新给增量数据可读
- 修复【polardb】分映射指定起点(表1包含分区,表2,3无分区),表2由全量初始化-暂停时进度-激活任务时间为起点,状态变化时数据不符合预期
- 修复【mysql】多映射-指定起点功能失效;mysql源,统一起点设置为全量初始化后给增量,暂停修改为分映射起点,会重读全量
其他优化&修复:
- 优化 【达梦】logminer读取性能
- 优化 默认值和注释的引号边界符处理
- 优化 索引冲突处理过程的反查查询条件没有区分数据类型 - 剩余节点补全
- 修复【Ob-Oracle】源到【kafka】偶现丢失数据
- 修复源端【mysql】节点联合主键表,目的端【tdsql】,多次更改主键后insert,再delete操作后,目的地数据不删除
- 修复【达梦】表的字段注释信息没有设置到 EntityField 对象上
- 修复导出链路后迁移到新环境JSON文件太大导致导入失败
- inceptor_orc源表链路映射到目的地表有diff,实际进入字段映射没有 完成
- 修复【hbase】(kerberos认证)获取表是否存在报错 完成
V5.5 版本
2026-3
功能列表
Kafka 作为目的地时,要求 Topic 能输出 DDL 执行信息
本期新增功能支持在Kafka作为目的地时,将DDL执行信息输出到指定Topic中,且需选择结构变化策略为在目的地执行,才能够。该功能通过开启开关控制,使数据同步过程中的表结构变更能够被下游系统捕获和响应。根据序列器类型不同,配置要求有所区别:
- Avro序列器:需要在高级清洗脚本中明确定义DDL结构,以确保序列化正确。此外,使用 Schema Registry 其兼容性检查设置为 FULL 或 BACKWARD时,如果源端执行了字段精度、标度等结构修改,可能会因兼容性校验失败而报错,在使用该功能时需要注意
- String序列器:则在清洗脚本中配置DDL结构,使用相对简单。
使用该功能时需特别注意:在Avro模式下,Schema Registry 的严格兼容性设置可能阻塞某些结构变更,建议结合业务需求合理设计Schema演化策略,或选择String序列器以避免兼容性问题。
适配 GoldenDB 作为目的地
本期新增对 GoldenDB 6.1.02 版本作为目的地节点的全面支持,通过JDBC写入方式,实现了与GoldenDB的无缝对接。该功能兼容GoldenDB的集中式和分布式两种部署架构,能够满足不同规模业务的需求。在表类型支持上,支持创建和写入单点表、分片表及广播表,确保数据路由与存储符合GoldenDB的分布式规则。同时,产品完整保留了数据同步的核心能力,包括DML与DDL语句的同步执行、全字段类型适配、全量初始化以及灵活的大小写设置,为用户在国产分布式数据库环境下的数据集成提供了稳定、高效的解决方案,进一步丰富了信创生态的同步能力。
适配 OceanBase 数据库 4.2.5.6 版本
本期新增对OceanBase 4.2.5.6版本的全链路支持,可将其同时作为数据源与目的地进行高效同步。作为源端时,支持通过OB Agent日志解析方式实时捕获增量数据,也可通过JDBC进行全量或增量查询;作为目的端时,支持通过JDBC写入,兼容集中式与分布式部署模式。该功能完整覆盖了数据同步的基本能力,包括DML/DDL同步、全字段类型适配、全量初始化、大小写设置及断点续传等。通过深度适配OceanBase的最新版本,产品进一步提升了在分布式数据库领域的生态兼容性,为用户在金融、政务等场景下的国产数据库数据集成提供了稳定、高效的管道支持。
其他优化及缺陷修复
- 修复【Oracle Agent】 重启后事务数据重复导致整合失败 (CMT_TRANS 缺少 XID 去重机制)
- 修复【Oracle Agent】行链接 HEAD piece 合并失败时未遵循 skip_merge_fail/query_merge_fail 配置,导致不完整数据被输出
- 修复【IBM CDC】多表任务激活性能问题:全局锁和不合理的超时计算导致大表量场景激活失败
- 修复 4.24.3版本安全漏洞修复
- 修复 数据校验列表问题汇总
- 修复 任务中修改映射时,无法取消已选择的映射
- 修复 生产环境源端达梦报错 StringIndexOutOfBoundsException
- 修复 5.x所有可以刷新表的节点日志有异常
- 修复【starrocks】源端出现boolean类型字段,读取数据报错
- 修复 QMD(Quick Multi-Delete)操作生成错误 RowID,导致 DELETE 记录与 LogMiner 不一致 完成
- 修复 【Oracle Agent】RAC 环境下新建分区丢失数据
- 修复【TdsqlPg支持pgoutput】pg和oracle兼容模式的tdsqlpg不支持表名包含引号
- 修复 yashan新建节点,链路展示数据库被赋值成了schema
- 修复 【GBase 8s CDC】指定起点输入起点Gbase 8s CDC 记录序列号无法输入
- 修复【5.x】kafka做目的地时,数据任务中点击写入设置会白屏
V5.4 版本
2026-1
功能列表
支持YashanDB数据库
DataPipeline 5.4版本全新集成国产数据库YashanDB,全面支持其作为同步任务的源端与目的端,标志着产品在信创生态支持上的又一重要进展。
本次功能实现了对YashanDB “Yashan”与“MySQL”两种兼容模式的完整适配。在数据读取方面,支持通过JDBC进行通用查询,并为Yashan模式提供了高性能的YStream日志流式读取,以满足实时同步的低延迟要求。数据写入则通过JDBC接口完成。
功能深度覆盖了YashanDB的多种表类型,包括HEAP、TAC(事务型聚集表)和LSC(行列混合存储表),确保在不同业务场景下的数据可同步性。对于索引的支持也根据模式进行了区分:Yashan模式支持普通索引、唯一索引、反转索引和函数索引;MySQL兼容模式则支持普通索引与唯一索引。
此外,该节点完全融入了DataPipeline现有的企业级功能生态,兼容高级数据清洗、指定起点(选择检查点)、错误队列处理、数据写入策略等丰富的任务配置策略,保障了复杂生产环境下数据同步任务的可靠性、灵活性与可运维性,为企业用户将YashanDB融入异构数据架构提供了开箱即用的高性能管道,强化了在关键信创场景下的数据流通能力。
Paimon 节点的策略配置和全量初始化中的删除重建需要从 Paimon 中获取表的元数据信息
针对Paimon不支持原生TRUNCATE操作的限制,本次优化针对源节点表结构变更TRUNCATE操作新增了的“删除重建”的策略选项。当同步任务选择该策略或任务执行进行全量初始化时,可采用删除重建的选项。其关键在于,在重建表前会优先从Paimon目的端读取该表的精确元数据(如字段、分区结构),确保新建表与源端目标结构及历史定义完全一致,从而在完成数据清空或初始化任务的同时,保障了表结构的连续性与异构系统间的可靠兼容。
编辑密码置空可改为可配置
此次新增的“密码是否返回为空”配置项,是数据同步产品在安全与易用性平衡上的一次精细化管理升级。系统管理员现可在系统配置-密码策略中配置“是否允许接口返回节点密码信息”,根据团队的安全规范选择“体验优先”或“安全优先”模式。
- 选择“体验优先”时,在查看或编辑数据节点配置页面,系统会返回已加密存储的密码密文。这避免了用户在每次调整连接参数时都需重新输入密码,极大提升了日常运维与调试的效率。
- 选择“安全优先”时,则遵循更严格的零信任原则,接口在任何情况下均不返回密码信息(即使加密形式)。这意味着任何对节点配置的修改操作,都必须由用户重新输入正确的密码进行验证,从而确保了密码信息的绝对可控,有效防止了通过界面或接口的潜在泄露风险。
该功能将安全策略的选择权交给了客户,允许不同安全等级要求的团队灵活定义自身的管控基线。
分页性能优化
本次对节点、链路/映射、任务列表的加载性能优化,主要针对海量数据场景下的翻页与渲染效率瓶颈。通过重构后端分页查询、优化数据库索引、引入前端虚拟滚动与缓存策略,并对大规模数据实施分批异步加载,显著提升了列表操作的响应速度与流畅度。
列表首屏加载时间以及翻页操作响应时间从原来的2-3s秒缩短至300ms秒左右,有效避免了长时间操作可能引发的页面卡顿或崩溃问题。这项优化大幅改善了用户在处理大规模数据同步任务时的日常管理体验,使运维操作更加高效顺畅。
移除 flyway 数据库迁移机制
本次移除5.x版本中的Flyway数据库迁移机制,是一项旨在根治技术债、提升部署敏捷性的核心架构重构。Flyway固有的顺序版本锁定机制,在多实例分布式场景下已成为快速迭代与灵活发布的瓶颈。优化后,产品采用基于SQL模板的声明式初始化方案。通过配置中心统一下发与当前版本严格匹配的完整表结构定义,各运行实例以幂等方式按需初始化或更新数据库。此举移除了全部 132+ 个历史迁移脚本及 flyway_schema_history 表,彻底解耦了数据库变更与应用发布周期。
收益显著:直接减少了应用启动时间和首次部署的复杂度,降低了代码维护负担,并为实现灰度升级、多版本并行等高级部署模式铺平了道路,提升了大规模集群下的运维可控性。
其他优化及缺陷修复
- 修复【MRS-HDFS\&Hive版本适配】HDFS 源文件配置,添加源文件为链路目的地新建文件,添加显示文件以存在
- 修复 PG 系节点表名带引号的表加载不到dp里
- 修复 Starrocks节点streamload写入连接大量未关闭
- 修复【Runtime kafka connect故障遗留】offset并发提交导致的报错
- 修复【Runtime-taskManager-池化】task-manager启动报错进程不退出
- 修复 写入 PG 目的地, Socket 层读取超时导致线程卡住
- 修复 inceptor_orc源表链路映射到目的地表有diff,实际进入字段映射没有
- 修复 5.x用户自定义参数-节点赋值-选择库/表/字段下一步按钮异常
- 修复 5.x系统配置默认值-策略配置-自动重启策略添加不生效
- 修复 5.x系统设置-系统预警查看筛选问题
- 修复 5.x系统配置默认值-策略配置-自动重启策略添加不生效
- 修复 mogdb作为目的地,当选择的策略为「数据源清空正在同步的表」 - 自动在目的地清空同步的表的数据,目的地并没有清空