2026年版本更新日志
V5.4 版本
2026-1
功能列表
支持YashanDB数据库
DataPipeline 5.4版本全新集成国产数据库YashanDB,全面支持其作为同步任务的源端与目的端,标志着产品在信创生态支持上的又一重要进展。
本次功能实现了对YashanDB “Yashan”与“MySQL”两种兼容模式的完整适配。在数据读取方面,支持通过JDBC进行通用查询,并为Yashan模式提供了高性能的YStream日志流式读取,以满足实时同步的低延迟要求。数据写入则通过JDBC接口完成。
功能深度覆盖了YashanDB的多种表类型,包括HEAP、TAC(事务型聚集表)和LSC(行列混合存储表),确保在不同业务场景下的数据可同步性。对于索引的支持也根据模式进行了区分:Yashan模式支持普通索引、唯一索引、反转索引和函数索引;MySQL兼容模式则支持普通索引与唯一索引。
此外,该节点完全融入了DataPipeline现有的企业级功能生态,兼容高级数据清洗、指定起点(选择检查点)、错误队列处理、数据写入策略等丰富的任务配置策略,保障了复杂生产环境下数据同步任务的可靠性、灵活性与可运维性,为企业用户将YashanDB融入异构数据架构提供了开箱即用的高性能管道,强化了在关键信创场景下的数据流通能力。
Paimon 节点的策略配置和全量初始化中的删除重建需要从 Paimon 中获取表的元数据信息
针对Paimon不支持原生TRUNCATE操作的限制,本次优化针对源节点表结构变更TRUNCATE操作新增了的“删除重建”的策略选项。当同步任务选择该策略或任务执行进行全量初始化时,可采用删除重建的选项。其关键在于,在重建表前会优先从Paimon目的端读取该表的精确元数据(如字段、分区结构),确保新建表与源端目标结构及历史定义完全一致,从而在完成数据清空或初始化任务的同时,保障了表结构的连续性与异构系统间的可靠兼容。
编辑密码置空可改为可配置
此次新增的“密码是否返回为空”配置项,是数据同步产品在安全与易用性平衡上的一次精细化管理升级。系统管理员现可在系统配置-密码策略中配置“是否允许接口返回节点密码信息”,根据团队的安全规范选择“体验优先”或“安全优先”模式。
- 选择“体验优先”时,在查看或编辑数据节点配置页面,系统会返回已加密存储的密码密文。这避免了用户在每次调整连接参数时都需重新输入密码,极大提升了日常运维与调试的效率。
- 选择“安全优先”时,则遵循更严格的零信任原则,接口在任何情况下均不返回密码信息(即使加密形式)。这意味着任何对节点配置的修改操作,都必须由用户重新输入正确的密码进行验证,从而确保了密码信息的绝对可控,有效防止了通过界面或接口的潜在泄露风险。
该功能将安全策略的选择权交给了客户,允许不同安全等级要求的团队灵活定义自身的管控基线。
分页性能优化
本次对节点、链路/映射、任务列表的加载性能优化,主要针对海量数据场景下的翻页与渲染效率瓶颈。通过重构后端分页查询、优化数据库索引、引入前端虚拟滚动与缓存策略,并对大规模数据实施分批异步加载,显著提升了列表操作的响应速度与流畅度。
列表首屏加载时间以及翻页操作响应时间从原来的2-3s秒缩短至300ms秒左右,有效避免了长时间操作可能引发的页面卡顿或崩溃问题。这项优化大幅改善了用户在处理大规模数据同步任务时的日常管理体验,使运维操作更加高效顺畅。
移除 flyway 数据库迁移机制
本次移除5.x版本中的Flyway数据库迁移机制,是一项旨在根治技术债、提升部署敏捷性的核心架构重构。Flyway固有的顺序版本锁定机制,在多实例分布式场景下已成为快速迭代与灵活发布的瓶颈。优化后,产品采用基于SQL模板的声明式初始化方案。通过配置中心统一下发与当前版本严格匹配的完整表结构定义,各运行实例以幂等方式按需初始化或更新数据库。此举移除了全部 132+ 个历史迁移脚本及 flyway_schema_history 表,彻底解耦了数据库变更与应用发布周期。
收益显著:直接减少了应用启动时间和首次部署的复杂度,降低了代码维护负担,并为实现灰度升级、多版本并行等高级部署模式铺平了道路,提升了大规模集群下的运维可控性。
其他优化及缺陷修复
- 修复【MRS-HDFS\&Hive版本适配】HDFS 源文件配置,添加源文件为链路目的地新建文件,添加显示文件以存在
- 修复 PG 系节点表名带引号的表加载不到dp里
- 修复 Starrocks节点streamload写入连接大量未关闭
- 修复【Runtime kafka connect故障遗留】offset并发提交导致的报错
- 修复【Runtime-taskManager-池化】task-manager启动报错进程不退出
- 修复 写入 PG 目的地, Socket 层读取超时导致线程卡住
- 修复 inceptor_orc源表链路映射到目的地表有diff,实际进入字段映射没有
- 修复 5.x用户自定义参数-节点赋值-选择库/表/字段下一步按钮异常
- 修复 5.x系统配置默认值-策略配置-自动重启策略添加不生效
- 修复 5.x系统设置-系统预警查看筛选问题
- 修复 5.x系统配置默认值-策略配置-自动重启策略添加不生效
- 修复 mogdb作为目的地,当选择的策略为「数据源清空正在同步的表」 - 自动在目的地清空同步的表的数据,目的地并没有清空