跳到主要内容
版本:v5.7

2026年版本更新日志

V5.7 版本​

2026-4

功能列表​

支持 Google Bigquery​

本期新增对Google BigQuery作为数据源与目的地的全面支持,通过JDBC协议实现高效读写。作为源端,可读取普通表、分区表、聚簇表三类表结构,同时支持逻辑视图、物化视图、授权视图三种视图类型,满足多样化数据抽取需求。作为目的端,支持数据写入普通表,适配云数仓场景的数据集成。

该功能完整融入DataPipeline核心能力,包括DML/DDL同步、字段类型适配、全量初始化、高级清洗及任务策略配置等。通过对接BigQuery,产品进一步拓展了云数据生态版图,为企业实现跨云、跨国数据流通提供了高性能、低成本的无缝管道,助力用户构建云端数据湖仓一体架构。

支持 SAP Hana的节点​

本次支持 SAP HANA 节点的适配工作,完全基于Claude Code生成的连接器Skills完成。通过标准化Skill模板,以自然语言定义SAP HANA的连接参数、类型映射、DDL解析及位点管理规则后,Claude Code自动生成了符合DataPipeline框架规范的完整连接器代码,涵盖读取器、写入器、元数据管理器等核心模块。

基于该代码,实现了SAP HANA作为源与目的地的JDBC读写,支持行存表、列存表及分区表配置,并完整集成DML/DDL同步、全量初始化、断点续传等基本功能。

新增Oceanbase节点采集代理延迟预警​

本期新增OceanBase节点采集代理延迟预警能力,覆盖以下预警规则:采集代理报错(如连接失败、解析异常等)、采集代理状态(运行/停止)、采集代理业务监控指标(重点为采集延迟阈值)、节点可用性检查。

信息

特别注意:连通性校验触发节点报错并记录日志类型为节点报错,此时预警系统发送采集代理报错类信息,避免因校验本身产生误报。

该功能帮助运维人员实时掌握采集代理健康状态,及时发现同步延迟风险,提升OceanBase数据同步链路可观测性与故障响应效率。

适配 Kafka 3.6.2作为目的地​

本期新增对 Kafka 3.6.2 作为数据目的地节点的全面支持。通过Kafka客户端API实现高效数据写入,并完整适配企业级认证体系,包括信任认证、口令认证、SCRAM认证及Kerberos认证,满足不同安全等级的接入需求。同时支持Avro和String两种序列化器,其中Avro序列化需配合Schema Registry实现结构化消息的精确编码与兼容性校验,String序列化则适用于纯文本或JSON格式输出。

该功能使DataPipeline能够将实时变更数据无缝写入Kafka消息队列,为下游流计算、数据湖及事件驱动架构提供高吞吐、低延迟的数据源,进一步扩展了产品在消息中间件生态的集成能力。

资源组优化一期-可观测性优化​

本次对系统设置中的资源组管理页面进行全面改造,重点增强可观测性并精简冗余信息。新增以下核心展示维度:

  • 运行时组件:明确展示每个资源组所使用的Runtime组件类型
  • Worker列表:显示资源组下所有ConnectDP组件的Worker实例
  • Worker状态:实时标识Worker的在线/下线状态
  • Worker资源:从task_manager_resource表中读取逻辑资源与已使用资源(CPU/内存)

资源组列表重新设计,展示字段包括:资源组名称、协调节点、已配置任务数、CPU配额、内存配额,以及操作入口(查看Worker、查看任务、编辑配置)。同时删除原有无效监控项与冗余配置项。

该优化使运维人员能够直观掌握资源组底层的Worker分布、健康状态及资源消耗,提升了分布式同步环境下的资源调度与故障排查效率。

高级清洗显示应用的脚本模板名称​

本期对数据同步任务中的高级清洗功能进行体验优化。此前,用户在选择清洗模板(无论是系统预置常用模板还是用户自定义保存的模板)后,高级清洗配置页面未显示当前所应用模板的名称,导致在多模板切换或任务复查时难以快速识别脚本来源。

本次优化后,高级清洗配置页面将明确显示当前选中的模板名称。用户在配置页面可直观看到模板名称,且切换模板时名称同步更新,显著提升了脚本管理的清晰度与操作效率,减少了因模板混淆导致的配置错误。

DP中间件Tomcat替换为宝蓝德​

本期DP中间件新增适配宝兰德。适配后,一方面DP中间件提升了在宝兰德运行环境下的兼容性和稳定性,为金融、政务等关键行业提供了更多信创部署选择;另一方面通过整合宝兰德基础软件生态的运维监控能力,可显著降低跨平台异构环境下的配置复杂度与运维成本,加快信创产品的规模化落地。此次拓展不仅强化了DP中间件的信创生态兼容能力,还为未来深入适配国产化全栈生态、利用平台统一管理能力打下了技术基础。

其他优化&修复:​
  1. 优化 任务策略删除数据任务的默认预警指标「任务报错」
  2. 优化 DP登录校验——调整敏感度
  3. 修复 StarRocks delete 操作,生成 Stream Load 的 columns 参数,使用了 SQL 关键字 key,没有转义
  4. 修复 非容器化部署dameng作为源端时区减8小时 完成
  5. 修复 Oracle Source RENAME TABLE 策略未生效(小写表名场景)
  6. 修复 Oracle Agent SEND 线程 Avro 序列化瓶颈导致发送吞吐仅 2000 rec/s,延迟持续增长直至崩溃
  7. 修复 Oracle LogMiner CDC 延迟优化与稳定性修复
  8. 修复 默认DP_SINK_ENABLE_DEST_PIPE_THREAD_POOL=true池化下的丢失写入问题
  9. 修复 使用映射规则设置批量设置并发分区,源表存在主键但使用非主键字段进行并发分区设置
  10. 修复 数据链路添加同步表时输入字符匹配会异常显示两遍
  11. 修复 4.24.4之前版本升级最新版本启动报错
  12. 修复 5.x mysql配置库webservice初始化建表唯一索引超长导致启动失败
  13. 修复 【ftp】ftp节点没有上传ssl认证文件的地方,不上传文件节点连通性校验报错
  14. 修复 【Oragent】getRowDataFromDb 未捕获 SQLException 导致进程崩溃反复重启
  15. 修复 Hive Connector Source/Sink 性能修复与优化
  16. 修复 dameng dsc使用备节点做源,给增量会报错cannot add duplicate logfile

V5.6 版本​

2026-3

功能列表​

zk、kafka开启plain后,高可用、Agent等功能不可用​

本次针对ZooKeeper和Kafka开启Plain认证后的功能缺失进行全面适配,解决高可用节点及Agent因认证阻断导致无法通信的问题。

适配范围:盖Oracle、OceanBase、MySQL、NewMySQL、TDSQL、达梦等高可用节点,以及Oracle、OceanBase、TiDB等Agent读取节点(DB2/AS400因IBM CDC API限制无法支持)。同时支持外部Kafka缓存节点在页面配置Plain认证信息。

适配内容:

  • 高可用节点适配
    • ZooKeeper连接支持配置Plain认证参数(用户名/密码)
    • 节点选举与故障转移过程中的元数据存储/读取适配认证链路
  • Agent读取节点适配
    • Agent与ZooKeeper间的通信支持认证握手
    • Web端可正常获取加密后的Agent状态与节点高可用信息
  • 外部Kafka缓存支持
    • 支持在页面配置Kafka Plain认证的用户名和密码
    • 适用于使用外部Kafka作为数据缓存的数据节点

核心价值:确保启用认证后,高可用选举、Agent状态上报、Web端元数据获取等功能恢复正常,保障生产环境安全合规下的同步任务稳定运行。

位点逻辑重构(一期)​

由于 DataPipeline 历史有关位点的(指定起点)机制存在逻辑混乱、实现不统一、历史故障多等问题,因此本次重构从框架层彻底规范位点处理流程。

  • 位点一致性:
    • 问题:首次激活与二次重置时位点不一致,后端依赖差异反推模式,逻辑复杂且易错
    • 重构方案:统一位点模型,消除激活与重置间的差异,无需反推
  • 映射级完善:
    • 问题:节点统一位点和分映射位点支持功能不统一,部分节点的分映射功能不够完善
    • 重构方案:修复映射位点保持能力统一,框架层保证一致性
  • 实现方式:
    • 问题:分布式/集中式/Agent节点的位点处理逻辑散落在各连接器,重复且混乱
    • 重构方案:框架层统一处理位点恢复与重置,连接器仅实现差异化接口
  • 职责边界:
  • 问题:需要时临时计算,哪里需要哪里重算,逻辑混乱
  • 重构方案:明确各组件作用边界,规范位点处理标准步骤,框架层与连接器层职责分离
  • 历史故障:
  • 问题:旧位点模式遗留多种故障场景
  • 重构方案:一并修复,提升系统稳定性

本次重构将位点管理从“连接器各自为政”升级为“框架层统一调度”,大幅降低开发复杂度与故障率,为后续分布式节点扩展奠定坚实基础。

MySQL系增量解析性能优化​

本次针对MySQL系的增量解析机制进行深度优化,核心改进为引入GTID缓存。在旧版逻辑中,每次解析增量日志需重复读取和计算GTID信息,导致大量冗余IO与解析开销。优化后,系统将解析后的GTID进行本地缓存,后续直接复用,大幅减少重复工作。

性能对比:以NewMySQL为例,优化前p95读速率为6.05MB/s,优化后飙升至35.51MB/s,提升幅度高达486.9%,效果极其显著。

该优化不仅显著降低了增量同步延迟,还减轻了源库日志读取压力,尤其适用于高并发、大事务场景。整体上提升了MySQL系数据同步的吞吐能力与稳定性,为用户带来更高效的实时数据管道体验。

页面登录用户定期更新密码​

本次对用户登录功能进行增强,新增用户密码到期管理能力。管理员可根据企业安全策略,在系统中灵活配置密码有效期(如90天),密码到期后用户可以选择「忽略并继续使用当前密码」或者选择「重置密码」。也可设置是否开启“强制修改”模式,当开启强制修改后,可以配置临期提示。设置临期提示时长后,系统将在密码临期时向用户推送提醒通知,到期后强制用户修改密码方可继续使用。

该功能有效满足了等保合规及企业安全审计对密码定期更新的要求,帮助组织主动防范密码泄露风险,提升账户安全性。同时,临期提醒与强制修改相结合,既保障了用户体验,又强化了安全管理闭环,为企业级数据同步平台的身份认证体系提供了更完善的治理能力。

其他优化及缺陷修复​

位点逻辑重构需求修复问题:​
  1. 修复:mysql源端无并发分区(dbz)内存模式,统一起点激活时间起点启动不读取数据
  2. 修复【oracle】源端激活任务报错:Caused by: java.lang.NullPointerException: Cannot invoke "com.datapipeline.base.connector.source.model.SchemaDefinition.getColumns()"
  3. 修复【oceanbase】带并发读取增量任务,全量初始化后,再使用指定起点功能,任务不再读取增量,agent-topic中有数据进入
  4. 修复【newpg】【gaussdb】【vastbase】【tdsql for pg(oracle,pg)】【gbase8c】【mogdb】的统一起点配置,使用激活时间为起点,会读暂停期间给的增量;使用全量初始化,暂停期间给的增量会多读1遍
  5. 修复【mysql】源端「内存模式」下,设置指定位点激活,不读数据,新给增量数据可读
  6. 修复【polardb】分映射指定起点(表1包含分区,表2,3无分区),表2由全量初始化-暂停时进度-激活任务时间为起点,状态变化时数据不符合预期
  7. 修复【mysql】多映射-指定起点功能失效;mysql源,统一起点设置为全量初始化后给增量,暂停修改为分映射起点,会重读全量
其他优化&修复:​
  1. 优化 【达梦】logminer读取性能
  2. 优化 默认值和注释的引号边界符处理
  3. 优化 索引冲突处理过程的反查查询条件没有区分数据类型 - 剩余节点补全
  4. 修复【Ob-Oracle】源到【kafka】偶现丢失数据
  5. 修复源端【mysql】节点联合主键表,目的端【tdsql】,多次更改主键后insert,再delete操作后,目的地数据不删除
  6. 修复【达梦】表的字段注释信息没有设置到 EntityField 对象上
  7. 修复导出链路后迁移到新环境JSON文件太大导致导入失败
  8. inceptor_orc源表链路映射到目的地表有diff,实际进入字段映射没有 完成
  9. 修复【hbase】(kerberos认证)获取表是否存在报错 完成

V5.5 版本​

2026-3

功能列表​

Kafka 作为目的地时,要求 Topic 能输出 DDL 执行信息​

本期新增功能支持在Kafka作为目的地时,将DDL执行信息输出到指定Topic中,且需选择结构变化策略为在目的地执行,才能够。该功能通过开启开关控制,使数据同步过程中的表结构变更能够被下游系统捕获和响应。根据序列器类型不同,配置要求有所区别:

  • Avro序列器:需要在高级清洗脚本中明确定义DDL结构,以确保序列化正确。此外,使用 Schema Registry 其兼容性检查设置为 FULL 或 BACKWARD时,如果源端执行了字段精度、标度等结构修改,可能会因兼容性校验失败而报错,在使用该功能时需要注意
  • String序列器:则在清洗脚本中配置DDL结构,使用相对简单。

使用该功能时需特别注意:在Avro模式下,Schema Registry 的严格兼容性设置可能阻塞某些结构变更,建议结合业务需求合理设计Schema演化策略,或选择String序列器以避免兼容性问题。

适配 GoldenDB 作为目的地​

本期新增对 GoldenDB 6.1.02 版本作为目的地节点的全面支持,通过JDBC写入方式,实现了与GoldenDB的无缝对接。该功能兼容GoldenDB的集中式和分布式两种部署架构,能够满足不同规模业务的需求。在表类型支持上,支持创建和写入单点表、分片表及广播表,确保数据路由与存储符合GoldenDB的分布式规则。同时,产品完整保留了数据同步的核心能力,包括DML与DDL语句的同步执行、全字段类型适配、全量初始化以及灵活的大小写设置,为用户在国产分布式数据库环境下的数据集成提供了稳定、高效的解决方案,进一步丰富了信创生态的同步能力。

适配 OceanBase 数据库 4.2.5.6 版本​

本期新增对OceanBase 4.2.5.6版本的全链路支持,可将其同时作为数据源与目的地进行高效同步。作为源端时,支持通过OB Agent日志解析方式实时捕获增量数据,也可通过JDBC进行全量或增量查询;作为目的端时,支持通过JDBC写入,兼容集中式与分布式部署模式。该功能完整覆盖了数据同步的基本能力,包括DML/DDL同步、全字段类型适配、全量初始化、大小写设置及断点续传等。通过深度适配OceanBase的最新版本,产品进一步提升了在分布式数据库领域的生态兼容性,为用户在金融、政务等场景下的国产数据库数据集成提供了稳定、高效的管道支持。

其他优化及缺陷修复​

  1. 修复【Oracle Agent】 重启后事务数据重复导致整合失败 (CMT_TRANS 缺少 XID 去重机制)
  2. 修复【Oracle Agent】行链接 HEAD piece 合并失败时未遵循 skip_merge_fail/query_merge_fail 配置,导致不完整数据被输出
  3. 修复【IBM CDC】多表任务激活性能问题:全局锁和不合理的超时计算导致大表量场景激活失败
  4. 修复 4.24.3版本安全漏洞修复
  5. 修复 数据校验列表问题汇总
  6. 修复 任务中修改映射时,无法取消已选择的映射
  7. 修复 生产环境源端达梦报错 StringIndexOutOfBoundsException
  8. 修复 5.x所有可以刷新表的节点日志有异常
  9. 修复【starrocks】源端出现boolean类型字段,读取数据报错
  10. 修复 QMD(Quick Multi-Delete)操作生成错误 RowID,导致 DELETE 记录与 LogMiner 不一致 完成
  11. 修复 【Oracle Agent】RAC 环境下新建分区丢失数据
  12. 修复【TdsqlPg支持pgoutput】pg和oracle兼容模式的tdsqlpg不支持表名包含引号
  13. 修复 yashan新建节点,链路展示数据库被赋值成了schema
  14. 修复 【GBase 8s CDC】指定起点输入起点Gbase 8s CDC 记录序列号无法输入
  15. 修复【5.x】kafka做目的地时,数据任务中点击写入设置会白屏

V5.4 版本​

2026-1

功能列表​

支持YashanDB数据库​

DataPipeline 5.4版本全新集成国产数据库YashanDB,全面支持其作为同步任务的源端与目的端,标志着产品在信创生态支持上的又一重要进展。

本次功能实现了对YashanDB “Yashan”与“MySQL”两种兼容模式的完整适配。在数据读取方面,支持通过JDBC进行通用查询,并为Yashan模式提供了高性能的YStream日志流式读取,以满足实时同步的低延迟要求。数据写入则通过JDBC接口完成。

功能深度覆盖了YashanDB的多种表类型,包括HEAP、TAC(事务型聚集表)和LSC(行列混合存储表),确保在不同业务场景下的数据可同步性。对于索引的支持也根据模式进行了区分:Yashan模式支持普通索引、唯一索引、反转索引和函数索引;MySQL兼容模式则支持普通索引与唯一索引。

此外,该节点完全融入了DataPipeline现有的企业级功能生态,兼容高级数据清洗、指定起点(选择检查点)、错误队列处理、数据写入策略等丰富的任务配置策略,保障了复杂生产环境下数据同步任务的可靠性、灵活性与可运维性,为企业用户将YashanDB融入异构数据架构提供了开箱即用的高性能管道,强化了在关键信创场景下的数据流通能力。

Paimon 节点的策略配置和全量初始化中的删除重建需要从 Paimon 中获取表的元数据信息​

针对Paimon不支持原生TRUNCATE操作的限制,本次优化针对源节点表结构变更TRUNCATE操作新增了的“删除重建”的策略选项。当同步任务选择该策略或任务执行进行全量初始化时,可采用删除重建的选项。其关键在于,在重建表前会优先从Paimon目的端读取该表的精确元数据(如字段、分区结构),确保新建表与源端目标结构及历史定义完全一致,从而在完成数据清空或初始化任务的同时,保障了表结构的连续性与异构系统间的可靠兼容。

编辑密码置空可改为可配置​

此次新增的“密码是否返回为空”配置项,是数据同步产品在安全与易用性平衡上的一次精细化管理升级。系统管理员现可在系统配置-密码策略中配置“是否允许接口返回节点密码信息”,根据团队的安全规范选择“体验优先”或“安全优先”模式。

  • 选择“体验优先”时,在查看或编辑数据节点配置页面,系统会返回已加密存储的密码密文。这避免了用户在每次调整连接参数时都需重新输入密码,极大提升了日常运维与调试的效率。
  • 选择“安全优先”时,则遵循更严格的零信任原则,接口在任何情况下均不返回密码信息(即使加密形式)。这意味着任何对节点配置的修改操作,都必须由用户重新输入正确的密码进行验证,从而确保了密码信息的绝对可控,有效防止了通过界面或接口的潜在泄露风险。

该功能将安全策略的选择权交给了客户,允许不同安全等级要求的团队灵活定义自身的管控基线。

分页性能优化​

本次对节点、链路/映射、任务列表的加载性能优化,主要针对海量数据场景下的翻页与渲染效率瓶颈。通过重构后端分页查询、优化数据库索引、引入前端虚拟滚动与缓存策略,并对大规模数据实施分批异步加载,显著提升了列表操作的响应速度与流畅度。

列表首屏加载时间以及翻页操作响应时间从原来的2-3s秒缩短至300ms秒左右,有效避免了长时间操作可能引发的页面卡顿或崩溃问题。这项优化大幅改善了用户在处理大规模数据同步任务时的日常管理体验,使运维操作更加高效顺畅。

移除 flyway 数据库迁移机制​

本次移除5.x版本中的Flyway数据库迁移机制,是一项旨在根治技术债、提升部署敏捷性的核心架构重构。Flyway固有的顺序版本锁定机制,在多实例分布式场景下已成为快速迭代与灵活发布的瓶颈。优化后,产品采用基于SQL模板的声明式初始化方案。通过配置中心统一下发与当前版本严格匹配的完整表结构定义,各运行实例以幂等方式按需初始化或更新数据库。此举移除了全部 132+ 个历史迁移脚本及 flyway_schema_history 表,彻底解耦了数据库变更与应用发布周期。

收益显著:直接减少了应用启动时间和首次部署的复杂度,降低了代码维护负担,并为实现灰度升级、多版本并行等高级部署模式铺平了道路,提升了大规模集群下的运维可控性。

其他优化及缺陷修复​

  1. 修复【MRS-HDFS\&Hive版本适配】HDFS 源文件配置,添加源文件为链路目的地新建文件,添加显示文件以存在
  2. 修复 PG 系节点表名带引号的表加载不到dp里
  3. 修复 Starrocks节点streamload写入连接大量未关闭
  4. 修复【Runtime kafka connect故障遗留】offset并发提交导致的报错
  5. 修复【Runtime-taskManager-池化】task-manager启动报错进程不退出
  6. 修复 写入 PG 目的地, Socket 层读取超时导致线程卡住
  7. 修复 inceptor_orc源表链路映射到目的地表有diff,实际进入字段映射没有
  8. 修复 5.x用户自定义参数-节点赋值-选择库/表/字段下一步按钮异常
  9. 修复 5.x系统配置默认值-策略配置-自动重启策略添加不生效
  10. 修复 5.x系统设置-系统预警查看筛选问题
  11. 修复 5.x系统配置默认值-策略配置-自动重启策略添加不生效
  12. 修复 mogdb作为目的地,当选择的策略为「数据源清空正在同步的表」 - 自动在目的地清空同步的表的数据,目的地并没有清空