跳到主要内容
版本:v5.5

2026年版本更新日志

V5.5 版本​

2026-3

功能列表​

Kafka 作为目的地时,要求 Topic 能输出 DDL 执行信息​

本期新增功能支持在Kafka作为目的地时,将DDL执行信息输出到指定Topic中,且需选择结构变化策略为在目的地执行,才能够。该功能通过开启开关控制,使数据同步过程中的表结构变更能够被下游系统捕获和响应。根据序列器类型不同,配置要求有所区别:

  • Avro序列器:需要在高级清洗脚本中明确定义DDL结构,以确保序列化正确。此外,使用 Schema Registry 其兼容性检查设置为 FULL 或 BACKWARD时,如果源端执行了字段精度、标度等结构修改,可能会因兼容性校验失败而报错,在使用该功能时需要注意
  • String序列器:则在清洗脚本中配置DDL结构,使用相对简单。

使用该功能时需特别注意:在Avro模式下,Schema Registry 的严格兼容性设置可能阻塞某些结构变更,建议结合业务需求合理设计Schema演化策略,或选择String序列器以避免兼容性问题。

适配 GoldenDB 作为目的地​

本期新增对 GoldenDB 6.1.02 版本作为目的地节点的全面支持,通过JDBC写入方式,实现了与GoldenDB的无缝对接。该功能兼容GoldenDB的集中式和分布式两种部署架构,能够满足不同规模业务的需求。在表类型支持上,支持创建和写入单点表、分片表及广播表,确保数据路由与存储符合GoldenDB的分布式规则。同时,产品完整保留了数据同步的核心能力,包括DML与DDL语句的同步执行、全字段类型适配、全量初始化以及灵活的大小写设置,为用户在国产分布式数据库环境下的数据集成提供了稳定、高效的解决方案,进一步丰富了信创生态的同步能力。

适配 OceanBase 数据库 4.2.5.6 版本​

本期新增对OceanBase 4.2.5.6版本的全链路支持,可将其同时作为数据源与目的地进行高效同步。作为源端时,支持通过OB Agent日志解析方式实时捕获增量数据,也可通过JDBC进行全量或增量查询;作为目的端时,支持通过JDBC写入,兼容集中式与分布式部署模式。该功能完整覆盖了数据同步的基本能力,包括DML/DDL同步、全字段类型适配、全量初始化、大小写设置及断点续传等。通过深度适配OceanBase的最新版本,产品进一步提升了在分布式数据库领域的生态兼容性,为用户在金融、政务等场景下的国产数据库数据集成提供了稳定、高效的管道支持。

其他优化及缺陷修复​

  1. 修复【Oracle Agent】 重启后事务数据重复导致整合失败 (CMT_TRANS 缺少 XID 去重机制)
  2. 修复【Oracle Agent】行链接 HEAD piece 合并失败时未遵循 skip_merge_fail/query_merge_fail 配置,导致不完整数据被输出
  3. 修复【IBM CDC】多表任务激活性能问题:全局锁和不合理的超时计算导致大表量场景激活失败
  4. 修复 4.24.3版本安全漏洞修复
  5. 修复 数据校验列表问题汇总
  6. 修复 任务中修改映射时,无法取消已选择的映射
  7. 修复 生产环境源端达梦报错 StringIndexOutOfBoundsException
  8. 修复 5.x所有可以刷新表的节点日志有异常
  9. 修复【starrocks】源端出现boolean类型字段,读取数据报错
  10. 修复 QMD(Quick Multi-Delete)操作生成错误 RowID,导致 DELETE 记录与 LogMiner 不一致 完成
  11. 修复 【Oracle Agent】RAC 环境下新建分区丢失数据
  12. 修复【TdsqlPg支持pgoutput】pg和oracle兼容模式的tdsqlpg不支持表名包含引号
  13. 修复 yashan新建节点,链路展示数据库被赋值成了schema
  14. 修复 【GBase 8s CDC】指定起点输入起点Gbase 8s CDC 记录序列号无法输入
  15. 修复【5.x】kafka做目的地时,数据任务中点击写入设置会白屏

V5.4 版本​

2026-1

功能列表​

支持YashanDB数据库​

DataPipeline 5.4版本全新集成国产数据库YashanDB,全面支持其作为同步任务的源端与目的端,标志着产品在信创生态支持上的又一重要进展。

本次功能实现了对YashanDB “Yashan”与“MySQL”两种兼容模式的完整适配。在数据读取方面,支持通过JDBC进行通用查询,并为Yashan模式提供了高性能的YStream日志流式读取,以满足实时同步的低延迟要求。数据写入则通过JDBC接口完成。

功能深度覆盖了YashanDB的多种表类型,包括HEAP、TAC(事务型聚集表)和LSC(行列混合存储表),确保在不同业务场景下的数据可同步性。对于索引的支持也根据模式进行了区分:Yashan模式支持普通索引、唯一索引、反转索引和函数索引;MySQL兼容模式则支持普通索引与唯一索引。

此外,该节点完全融入了DataPipeline现有的企业级功能生态,兼容高级数据清洗、指定起点(选择检查点)、错误队列处理、数据写入策略等丰富的任务配置策略,保障了复杂生产环境下数据同步任务的可靠性、灵活性与可运维性,为企业用户将YashanDB融入异构数据架构提供了开箱即用的高性能管道,强化了在关键信创场景下的数据流通能力。

Paimon 节点的策略配置和全量初始化中的删除重建需要从 Paimon 中获取表的元数据信息​

针对Paimon不支持原生TRUNCATE操作的限制,本次优化针对源节点表结构变更TRUNCATE操作新增了的“删除重建”的策略选项。当同步任务选择该策略或任务执行进行全量初始化时,可采用删除重建的选项。其关键在于,在重建表前会优先从Paimon目的端读取该表的精确元数据(如字段、分区结构),确保新建表与源端目标结构及历史定义完全一致,从而在完成数据清空或初始化任务的同时,保障了表结构的连续性与异构系统间的可靠兼容。

编辑密码置空可改为可配置​

此次新增的“密码是否返回为空”配置项,是数据同步产品在安全与易用性平衡上的一次精细化管理升级。系统管理员现可在系统配置-密码策略中配置“是否允许接口返回节点密码信息”,根据团队的安全规范选择“体验优先”或“安全优先”模式。

  • 选择“体验优先”时,在查看或编辑数据节点配置页面,系统会返回已加密存储的密码密文。这避免了用户在每次调整连接参数时都需重新输入密码,极大提升了日常运维与调试的效率。
  • 选择“安全优先”时,则遵循更严格的零信任原则,接口在任何情况下均不返回密码信息(即使加密形式)。这意味着任何对节点配置的修改操作,都必须由用户重新输入正确的密码进行验证,从而确保了密码信息的绝对可控,有效防止了通过界面或接口的潜在泄露风险。

该功能将安全策略的选择权交给了客户,允许不同安全等级要求的团队灵活定义自身的管控基线。

分页性能优化​

本次对节点、链路/映射、任务列表的加载性能优化,主要针对海量数据场景下的翻页与渲染效率瓶颈。通过重构后端分页查询、优化数据库索引、引入前端虚拟滚动与缓存策略,并对大规模数据实施分批异步加载,显著提升了列表操作的响应速度与流畅度。

列表首屏加载时间以及翻页操作响应时间从原来的2-3s秒缩短至300ms秒左右,有效避免了长时间操作可能引发的页面卡顿或崩溃问题。这项优化大幅改善了用户在处理大规模数据同步任务时的日常管理体验,使运维操作更加高效顺畅。

移除 flyway 数据库迁移机制​

本次移除5.x版本中的Flyway数据库迁移机制,是一项旨在根治技术债、提升部署敏捷性的核心架构重构。Flyway固有的顺序版本锁定机制,在多实例分布式场景下已成为快速迭代与灵活发布的瓶颈。优化后,产品采用基于SQL模板的声明式初始化方案。通过配置中心统一下发与当前版本严格匹配的完整表结构定义,各运行实例以幂等方式按需初始化或更新数据库。此举移除了全部 132+ 个历史迁移脚本及 flyway_schema_history 表,彻底解耦了数据库变更与应用发布周期。

收益显著:直接减少了应用启动时间和首次部署的复杂度,降低了代码维护负担,并为实现灰度升级、多版本并行等高级部署模式铺平了道路,提升了大规模集群下的运维可控性。

其他优化及缺陷修复​

  1. 修复【MRS-HDFS\&Hive版本适配】HDFS 源文件配置,添加源文件为链路目的地新建文件,添加显示文件以存在
  2. 修复 PG 系节点表名带引号的表加载不到dp里
  3. 修复 Starrocks节点streamload写入连接大量未关闭
  4. 修复【Runtime kafka connect故障遗留】offset并发提交导致的报错
  5. 修复【Runtime-taskManager-池化】task-manager启动报错进程不退出
  6. 修复 写入 PG 目的地, Socket 层读取超时导致线程卡住
  7. 修复 inceptor_orc源表链路映射到目的地表有diff,实际进入字段映射没有
  8. 修复 5.x用户自定义参数-节点赋值-选择库/表/字段下一步按钮异常
  9. 修复 5.x系统配置默认值-策略配置-自动重启策略添加不生效
  10. 修复 5.x系统设置-系统预警查看筛选问题
  11. 修复 5.x系统配置默认值-策略配置-自动重启策略添加不生效
  12. 修复 mogdb作为目的地,当选择的策略为「数据源清空正在同步的表」 - 自动在目的地清空同步的表的数据,目的地并没有清空