跳到主要内容
版本:v5.10

2026年版本更新日志

V5.10 版本​

2026-7

功能列表​

实时同步支持表过滤条件​

在数据链路中,并非所有源端数据都需要传输到目标端。本次新增表级过滤条件配置能力,支持用户在 CDC 实时同步任务中定义行级过滤规则,通过显示的条件配置系统进行解析,在采集变更事件时即完成过滤,仅同步满足条件的数据行到目标端。

CDC过滤配置项包括:

  • 字段选择:仅支持选择「字符串、整数、浮点数、日期/时间」类型的字段
  • 运算符:支持的运算符包括>(大于)、<(小于)、>=(大于等于)、<=(小于等于)、=(等于)、!=(不等于)、包含(IN)、不包含(NOT IN)、是(is)——仅用于配置是否为空
  • 逻辑运算:支持简单场景的「AND」和「OR」运算配置

该功能有效减少了无效数据的网络传输和目标端落盘,降低存储成本和计算压力,特别适合大表场景下的精细化数据同步需求,帮助用户聚焦业务真正需要的数据。

GaussDB 适配 GBK 字符集​

金融行业历史系统中大量使用 GBK 编码存储中文数据,此前 GaussDB 在 GBK 字符集场景下同步可能出现编码转换异常。本次对数据链路中的字符集处理逻辑进行全面适配,确保 GBK 编码的中文字段在 CDC 采集、数据传输和目标端写入全流程中保持完整和正确,彻底消除因编码不兼容导致的数据乱码或丢失风险,金融客户可以安心将 GBK 编码的 GaussDB 数据库纳入同步链路。

GaussDB 8.x 版本适配​

本期新增对GaussDB 8.x版本作为数据源与目的地的完整适配。GaussDB是华为云推出的企业级分布式数据库,支持丰富的兼容模式体系。

  • 多种兼容模式:全面覆盖ORA(Oracle兼容)、MYSQL(MySQL兼容)、TD(Teradata兼容)、PG(PostgreSQL兼容)及M(MySQL M-Compatibility模式)五种模式,满足不同源数据库迁移场景。
  • 读写能力:源端支持JDBC读取与CDC读取(实时增量日志解析)双模式;目的端支持JDBC写入,保障高效数据同步。
  • 核心功能覆盖:支持视图读取、DML与DDL策略配置与执行、索引读取与创建,并完整融入DataPipeline现有链路映射配置体系,为企业级数据集成提供稳定、可靠的全链路管道支撑。

GaussDB DWS 9.1.0 适配​

本期数据同步产品新增对GaussDB DWS 9.1.0作为数据源与目的地的完整适配。GaussDB DWS是华为云推出的企业级数据仓库服务,基于Shared-Nothing架构,具备高并发、高吞吐的MPP分析能力。

在数据读取方面,支持JDBC读取(标准API接入)与Binlog读取双模式。其中Binlog基于DWS实时数仓HStore表实现,通过消费Binlog捕获INSERT/DELETE/UPDATE等DML操作;视图读取满足多样化数据抽取需求。

在写入与策略方面,支持JDBC写入,并完整适配DML策略(INSERT/DELETE/UPDATE/MERGE)与DDL策略配置与执行。同时支持索引读取与创建,并完整融入DataPipeline现有链路映射配置体系,为数据集成提供高性能、高可用的管道支撑。

适配 Doris 3.1.4 及 4.x 版本​

本次完成对Apache Doris 3.1.4及4.x版本作为数据源与目的地的全面适配。

在产品支持层面,数据读写方面支持JDBC与Stream Load两种方式。其中Stream Load通过HTTP协议实现同步导入,适用于高吞吐写入场景;JDBC则兼容标准API接入。同时支持视图读取、索引读取与创建,并完整支持DML与DDL策略配置与执行,无缝融入DataPipeline现有链路映射配置体系。

适配 MongoDB 6.x/5.x​

本次数据同步产品完成对MongoDB 5.x与6.x版本的全面适配与验证,覆盖源端 Change Stream CDC采集 和MongoDB Java Drivers 读取,目标端支持 MongoDB Java Drivers 写入。

MongoDB 5.x在变更流机制上进一步与聚合框架深度融合,开发者可通过聚合管道对变更事件进行实时过滤与转换;MongoDB 6.0则实现了Change Stream自3.6版本以来的重大升级——支持变更前后镜像(Pre-image与Post-image),可同时获取文档修改前后的完整状态;同时支持更多DDL事件的变更通知(如create、createIndexes、modify等),进一步扩展了实时同步的覆盖范围。

产品基于上述新特性完成全链路适配验证,确保新版本下文档变更事件的完整捕获与正确写入,为长银消金等已在生产环境升级至MongoDB 5.x/6.x的客户提供平滑、可靠的实时数据同步能力。

资源组优化二期 - 多资源组管理优化​

优化背景

  • 在原有架构中,一个JVM进程内只能加载一份Kerberos认证信息,当多个使用不同Kerberos认证的任务运行于同一JVM时,后启动的任务会覆盖前者的认证配置,导致已有任务认证失效、同步失败。
  • 临时解决方案:采用进程级隔离,即每个并行度独立进程。但该方案引入新问题——Java进程本身内存开销大,高效GC通常需要4~6GB堆内存,粒度太细导致资源浪费严重,资源利用率极低。

优化实现

本次优化重新设计资源组分配策略,引入四种隔离级别,按需选择。

  • dp:无特殊隔离需求——所有任务自由混合分配,无任何隔离限制(兼容原有线程模型与独占进程模型)
  • dptask:按任务隔离——不同任务不可运行在同一进程中,仅适用于共享进程模型
  • connector:按连接器隔离——不同连接器类型(如MySQL、Oracle)不可运行在同一进程中,仅适用于共享进程模型
  • kerberos:按认证隔离——不同Kerberos认证的任务不可运行在同一进程中(无认证任务统一使用dp标识),仅适用于共享进程模型

核心价值

  • 灵活适配:根据实际场景选择隔离粒度,兼顾资源效率与认证隔离需求
  • 资源优化:共享进程模型下,多个兼容任务共用一个JVM,内存利用率提升显著
  • 认证安全:Kerberos隔离级别从根本上杜绝认证覆盖问题,保障任务稳定运行
  • 向后兼容:dp模式保留原有行为,存量任务无需改造即可运行

代码质量卡点与测试覆盖率门禁​

质量的代码是产品稳定运行的根基。本次在研发流程中建设代码质量卡点与单元测试覆盖率门禁体系,所有代码合入主分支前需通过自动化质量检查,包括代码规范扫描和测试覆盖率阈值校验。该体系覆盖核心代码仓库,从 5 月启动建设,7 月完成全量落地,将质量保障从事后发现前移到事前拦截。后续每一个上线版本都将经过更严格的质量门禁,从源头降低线上故障风险。

其他优化&修复:​
  1. 修复【GaussDb For OpenGauss】全量同步完成后,插入增量数据页面显示全量同步状态
  2. 修复 【yashandb】5.x字段映射问题
  3. 修复 配置管理导入性能问题
  4. 修复 【gbase8s-cdc】获取增量数据失败
  5. 修复 【starrocks】的string类型不同目的地的字段映射会有问题
  6. 修复 【oragent】多表事务中 chained record 导致 ROLLBACK TO SAVEPOINT 匹配失败,已回滚数据进入下游
  7. 修复 【oragent】宽表 UPDATE 跨语句融合丢列
  8. 修复 含lob字段事务内主键更新,事务提交前都会改回原始 ID,任务报错ORACLE冲突主键
  9. 修复 【obcdc多租户】多租户节点指定起点功能异常,单节点使用正常
  10. 修复 【ob4-oracle】重命名表名后读不到命名回源表名的操作
  11. 修复 【obcdc】delegatedNodeId相关问题自检
  12. 修复 【国际化】yashanDB部分内容不支持国际化

V5.9 版本​

2026-6

功能列表​

GoldenDB支持集中式主备(多DN节点)显示及数据同步- JDBC\&Binlog​

本次GoldenDB(V6.1.02)节点升级重点强化了多DN节点场景下的配置灵活性与数据读取能力,涵盖集中式与分布式两种部署形态。

  • 集中式部署:支持配置多个DN节点连接信息。JDBC模式通过计算节点自动路由适配底层多DN,完成全量及增量数据读取;Binlog读取模式通过配置CDC组件捕获各DN节点的binlog并合并为全局一致性日志,实现增量实时同步。
  • 分布式部署:支持按分片分别指定各分片内多DN节点的连接信息。JDBC通过计算节点统一接入,自动感知分片拓扑及多DN分布;Binlog读取模式分别捕获各分片多DN的binlog,合并后供下游消费。

Agent读取方式对多DN节点的支持已在规划中,未来将进一步丰富多DN场景下的增量读取手段,敬请期待。

适配 kafka 3.9.2 版本​

本次Kafka节点升级至3.9.2版本,全面支持该版本作为数据源与目的地的数据同步能力。3.9.2作为3.9.x系列的补丁版本,修复了多项关键问题与安全漏洞,进一步提升了broker、controller及客户端的稳定性。在认证方式上,全面适配企业级安全需求,支持信任认证(PLAINTEXT)、SCRAM认证(SASL/SCRAM-SHA-256及SASL/SCRAM-SHA-512)及Kerberos认证(SASL/GSSAPI)三种机制,用户可根据安全策略灵活选择。

在读写能力上,通过Kafka客户端API实现高效的数据读取与写入,支持标准的生产者/消费者协议。无论是将Kafka作为数据源消费Topic消息,还是作为目的地将同步数据写入指定Topic,均可获得稳定、低延迟的传输性能。

支持修改web应用端口​

本次新增容器端口自定义配置能力,主要针对Docker网络模式为Host的部署场景。在Host模式下,容器直接使用宿主机网络栈,端口映射由容器内监听端口直接绑定至宿主机端口,当多个服务或实例共存时,容易因端口冲突导致启动失败。

此前,组件容器内部端口由系统内部固定分配,用户无法在Host模式下调整。本次优化后,用户可通过系统配置文件对组件端口进行自定义配置,按需调整各服务端口的绑定值,有效规避宿主机端口冲突问题,提升部署灵活性。配置方式简单直观,修改配置文件后重启容器即可生效。

该功能尤其适用于多实例部署、端口资源紧张或需要统一规划端口分配的生产环境,进一步增强了产品在各类网络架构下的适应能力。

适配TChouse数据库​

本次新增对腾讯云数据仓库 TCHouse-P V3.16.x 作为数据同步目的地节点的支持。TCHouse-P 是一款基于 PostgreSQL 的分布式 MPP(大规模并行处理)数据库,采用 Shared-Nothing 架构,支持行列混合存储,适用于海量在线实时数据分析场景。

在写入能力方面,产品通过 JDBC 方式实现数据写入,全面覆盖 TCHouse-P 的多种表类型,包括 Heap 表(支持行存与分区)、AO 表(Append-Only 表,支持行存、列存与数据压缩)以及分区表和分布表。

在同步策略方面,产品支持完整的 DDL 写入策略配置,以及 DML 写入策略(包括 INSERT、DELETE、UPDATE、MERGE-D+I、IGNORE)。同时,全字段类型适配与 DataPipeline 的映射规则设置等功能也一并支持,为用户提供灵活、高效的数据同步体验。

GoldenDB 源节点支持CHARACTER 字段类型​

本期针对GoldenDB作为源节点时的实时增量同步进行优化,解决character字段类型DDL解析失败问题。GoldenDB中建表使用character写法,实际元数据存储为char,原有解析引擎未能识别此映射关系,导致包含该字段的DDL操作在实时同步阶段失败。优化后在DDL解析层增加character→char自动转换逻辑,确保实时阶段可正确解析并同步字段类型变更,消除因写法差异导致的同步中断,提升了GoldenDB实时同步的兼容性与稳定性。

适配Oceanbase V4.4.2​

本期新增对OceanBase v4.4.2版本作为数据源与目的地的完整支持。作为源端,可通过JDBC进行全量及定时增量查询,或通过OBLog Reader实现低延迟的实时日志解析;作为目的端,通过JDBC实现高效数据写入。该适配完整覆盖DML/DDL同步、全量初始化、断点续传等核心能力,进一步扩展了产品对OceanBase最新版本的生态兼容性,为分布式数据库场景下的数据集成提供稳定支撑。

支持 OBAgent 非容器化部署​

本期针对OceanBase节点OBLog Reader所使用的Agent进行部署方式优化。此前Agent仅支持Docker容器化部署,限制了部分客户的使用场景。本次优化后,Agent支持非容器化部署方式,可直接部署于物理机或虚拟机环境中,当前适配操作系统架构为x86。该优化使产品能够覆盖更多客户的IT基础设施环境,降低了部署门槛,提升了OceanBase实时增量同步场景下的灵活性与可落地性。

其他优化&修复:​
  1. 优化 达梦数据库读取SYSDBA系统表
  2. 优化 非容器化部署脚本执行优化以及文档内容补充
  3. 优化 【节点监控页】topic相关优化建议,添加滑块或者topic相关分页
  4. 修复 Oracle Agent Rollback chain record 匹配失败
  5. 修复 系统设置--资源组--查看任务 未正确按照资源组过滤任务列表
  6. 修复 任务从全量单次模式切换到全量定时模式之后,任务不读数据
  7. 修复 Datahub链路创建新topic时,报错:Topic名称非法
  8. 修复 Vastbase进行主键变更,有非空约束错误
  9. 修复 任务引用映射后,修改映射的目的地表,返回任务后保存失败
  10. 修复 Argo源不读取ddl
  11. 修复 Argo 5.2版本和6.0版本不能同时使用
  12. 修复 支持重命名的节点,在进行重命名结构变化的时候,页面上统计数据没有进行相应的变化

V5.8 版本​

2026-5

功能列表​

Mysql系 新增Agent读取方式​

本期新增MySQL系数据库(new mysql、GoldenDB 6.1.02节点类型)自研Agent增量读取方式。该Agent通过直接读取并解析源库binlog日志,实时捕获增量变更数据,替代原有的JDBC轮询或依赖外部工具的方式。

核心特性:

  • 高性能:自研Agent针对binlog解析进行深度优化,实测增量读取性能优于传统实时解析方案,同步延迟显著降低
  • 高可用:Agent本身支持高可用部署,同时可与节点高可用能力结合使用,形成双重保障机制,任意Agent或节点故障均可自动切换
  • 无缝集成:Agent读取方式完全融入DataPipeline现有任务配置体系,用户可在创建任务时自由选择JDBC、binlog或Agent读取模式

该功能为MySQL系大规模实时同步场景提供了更优的性能底座与可靠性保障。

OceanBase数据节点添加Oracle类似的可观测页​

本期为OceanBase数据节点新增与Oracle类似的专业可观测页面,实现对采集Agent的全方位监控与运维管理。

监控展示维度:

  • 基本信息:Agent的IP地址、端口等部署信息
  • 机器资源:Agent所在机器的CPU、内存等资源使用情况
  • 核心指标:数据读取延迟、解析速率、日志解析量
  • 分位延迟:mean/95th/max 分位延迟折线统计图
  • Topic详情:Agent消费的Topic信息及消费数据查询
  • 运行日志:Agent实时日志输出与检索

运维操作:

  • 支持激活和暂停Agent,实现采集任务的灵活管控

该页面帮助运维人员实时掌握Agent健康状态,快速定位延迟异常或解析瓶颈,显著提升OceanBase同步链路的可观测性与故障响应效率,确保高要求场景下的数据同步稳定性。

适配 MRS-HBase V2.2.3 以及 MRS-Hudi V0.9.0​

本期新增对MRS(MapReduce Service)平台Hudi 0.9.0数据湖组件及HBase 2.2.3分布式数据库作为同步目的地节点的支持。

  • Hudi 0.9.0:作为数据湖存储格式,支持ACID事务与Upsert能力,可实现实时入湖与增量拉取。适配Flink/Spark计算引擎,为湖仓一体架构提供高可靠数据写入。
  • HBase 2.2.3:面向列的分布式云存储系统,支持高吞吐随机读写与毫秒级响应,基于HDFS多副本实现高可用,适用于TB至PB级海量数据场景。

该适配使DataPipeline能够将业务数据实时写入Hudi和HBase,满足企业在大数据平台上的数据湖构建、实时数据服务及离线分析等多样化需求,进一步扩展了产品在MRS生态的集成能力。

高级清洗试运行按抽取条数加上限制条件​

本期对高级清洗功能的试运行机制进行深度优化。原有逻辑在执行试运行时,先查询源端所有数据,再从中随机抽取指定条数进行清洗验证,当数据量庞大时会导致查询耗时过长、源库压力骤增。

优化后,系统根据源节点类型自动添加查询限制条件:MySQL系使用LIMIT子句、Oracle系使用ROWNUM、PostgreSQL系使用LIMIT等,直接从源端抽取指定条数数据进行试运行,避免全表扫描。此举大幅降低了试运行对源库的冲击,响应时间从分钟级缩短至秒级,同时减少了网络传输与内存开销,提升了开发人员在配置清洗脚本时的调试效率与体验。

ORACLE Agent获取源端事务id​

本期优化当Oracle为源节点、Kafka为目的地的同步场景,在消息结构配置中新增Oracle事务ID选项。用户可勾选该选项,将事务ID作为消息Value的一部分进行输出。

该功能全面兼容三种格式:Oracle GoldenGate格式、Debezium(DBZ)格式及自定义格式。开启后,每条变更消息将携带所属事务的唯一标识,便于下游系统进行事务边界追踪、顺序保障及回滚定位。

此增强为基于Kafka的实时数据管道提供了更精细的事务级可观测能力,尤其适用于需要严格按事务处理或进行数据对账的场景,提升了消息粒度的完整性与业务语义的丰富度。

基础组件Kafka版本升级至3.9.2​

为响应安全合规要求,本期将产品内置及依赖的Kafka客户端与服务端组件从旧版本升级至3.9.2。该版本修复了多个已知安全漏洞(如CVE-2023-25194、CVE-2023-34468等),增强了SASL认证及加密通信的稳定性。升级过程保持API兼容性,现有数据同步任务无需修改配置即可无缝运行。同时,针对使用Kafka作为缓存或目的地的场景进行了全链路回归测试,确保升级后吞吐性能与消息可靠性不受影响。此次升级进一步强化了产品在数据传输链路中的安全基线。

支持PostgreSQL V16.10版本作为数据源​

本期新增对PostgreSQL 16.10作为数据源节点的完整适配,进一步扩展产品对PG新版本生态的覆盖。该版本适配全面支持三种增量读取方式:JDBC(全量及轮询)、wal2json及pgoutput(逻辑解码插件),满足不同场景下的实时同步需求。同时,兼容常用字段类型(如NUMERIC、JSON等),支持对普通表、分区表及视图的元数据读取与数据抽取。经过全链路回归测试,确保DML/DDL同步、全量初始化、断点续传等核心能力稳定可用,为用户在PG 16.x环境下的数据集成提供可靠、高性能的管道支撑。

宝兰德适配需求​

本期新增对宝兰德BWE(BES WebServer Engine)3.1.0版本的适配。宝兰德BWE是一款可替换Nginx的国产Web服务器软件,在信创项目中常作为反向代理和负载均衡中间件使用,其WebServer 3.1版本已通过中国信通院“信息技术应用创新兼容适配性检验”,在全国产环境下具备稳定运行能力。完成适配后,产品可完整支持宝兰德BWE作为反向代理中间件运行,打通了信创全链路的关键一环,有效拓展了国产化部署场景的选择范围,为金融、政务等信创核心应用提供了更完善的软件底座。

其他优化&修复:​
  1. 修复 starocks做源 读取view模式时报错
  2. 修复 数据节点可用性校验接口返回字段修改
  3. 修复 【并发分区】非空列字段自动分区 isnull按钮没有自动打开
  4. 修复 【节点校验】校验过程中依然可以编辑配置
  5. 修复 【oragent】主键更新含lob字段表,高概率出现解析最后一个字段值(时间字段)为空,任务进错误队列
  6. 修复 【Repo拆分-hive】hive目的地配置语义映射不生效,只生效特性映射
  7. 修复 积压预警项目和参与用户没有值
  8. 修复 goldendb6102集中式指定起点检查点策略显示不全
  9. 修复 mysql系bulkload模式下全量同步目的地数据为空
  10. 修复 源端一次性执行四类ddl+dml,报非空约束错误数据进入错误队列
  11. 修复 kafka、datahub写入设置,OGG、Debezium tab页签切换时,会自动全选所有字段
  12. 修复 【datahub】blob格式链路写入消息体结构value设置修改为自定义格式后,再次修改为其他格式保存失效

V5.7 版本​

2026-4

功能列表​

支持 Google Bigquery​

本期新增对Google BigQuery作为数据源与目的地的全面支持,通过JDBC协议实现高效读写。作为源端,可读取普通表、分区表、聚簇表三类表结构,同时支持逻辑视图、物化视图、授权视图三种视图类型,满足多样化数据抽取需求。作为目的端,支持数据写入普通表,适配云数仓场景的数据集成。

该功能完整融入DataPipeline核心能力,包括DML/DDL同步、字段类型适配、全量初始化、高级清洗及任务策略配置等。通过对接BigQuery,产品进一步拓展了云数据生态版图,为企业实现跨云、跨国数据流通提供了高性能、低成本的无缝管道,助力用户构建云端数据湖仓一体架构。

支持 SAP Hana的节点​

本次支持 SAP HANA 节点的适配工作,完全基于Claude Code生成的连接器Skills完成。通过标准化Skill模板,以自然语言定义SAP HANA的连接参数、类型映射、DDL解析及位点管理规则后,Claude Code自动生成了符合DataPipeline框架规范的完整连接器代码,涵盖读取器、写入器、元数据管理器等核心模块。

基于该代码,实现了SAP HANA作为源与目的地的JDBC读写,支持行存表、列存表及分区表配置,并完整集成DML/DDL同步、全量初始化、断点续传等基本功能。

新增Oceanbase节点采集代理延迟预警​

本期新增OceanBase节点采集代理延迟预警能力,覆盖以下预警规则:采集代理报错(如连接失败、解析异常等)、采集代理状态(运行/停止)、采集代理业务监控指标(重点为采集延迟阈值)、节点可用性检查。

信息

特别注意:连通性校验触发节点报错并记录日志类型为节点报错,此时预警系统发送采集代理报错类信息,避免因校验本身产生误报。

该功能帮助运维人员实时掌握采集代理健康状态,及时发现同步延迟风险,提升OceanBase数据同步链路可观测性与故障响应效率。

适配 Kafka 3.6.2作为目的地​

本期新增对 Kafka 3.6.2 作为数据目的地节点的全面支持。通过Kafka客户端API实现高效数据写入,并完整适配企业级认证体系,包括信任认证、口令认证、SCRAM认证及Kerberos认证,满足不同安全等级的接入需求。同时支持Avro和String两种序列化器,其中Avro序列化需配合Schema Registry实现结构化消息的精确编码与兼容性校验,String序列化则适用于纯文本或JSON格式输出。

该功能使DataPipeline能够将实时变更数据无缝写入Kafka消息队列,为下游流计算、数据湖及事件驱动架构提供高吞吐、低延迟的数据源,进一步扩展了产品在消息中间件生态的集成能力。

资源组优化一期-可观测性优化​

本次对系统设置中的资源组管理页面进行全面改造,重点增强可观测性并精简冗余信息。新增以下核心展示维度:

  • 运行时组件:明确展示每个资源组所使用的Runtime组件类型
  • Worker列表:显示资源组下所有ConnectDP组件的Worker实例
  • Worker状态:实时标识Worker的在线/下线状态
  • Worker资源:从task_manager_resource表中读取逻辑资源与已使用资源(CPU/内存)

资源组列表重新设计,展示字段包括:资源组名称、协调节点、已配置任务数、CPU配额、内存配额,以及操作入口(查看Worker、查看任务、编辑配置)。同时删除原有无效监控项与冗余配置项。

该优化使运维人员能够直观掌握资源组底层的Worker分布、健康状态及资源消耗,提升了分布式同步环境下的资源调度与故障排查效率。

高级清洗显示应用的脚本模板名称​

本期对数据同步任务中的高级清洗功能进行体验优化。此前,用户在选择清洗模板(无论是系统预置常用模板还是用户自定义保存的模板)后,高级清洗配置页面未显示当前所应用模板的名称,导致在多模板切换或任务复查时难以快速识别脚本来源。

本次优化后,高级清洗配置页面将明确显示当前选中的模板名称。用户在配置页面可直观看到模板名称,且切换模板时名称同步更新,显著提升了脚本管理的清晰度与操作效率,减少了因模板混淆导致的配置错误。

DP中间件Tomcat替换为宝蓝德​

本期DP中间件新增适配宝兰德。适配后,一方面DP中间件提升了在宝兰德运行环境下的兼容性和稳定性,为金融、政务等关键行业提供了更多信创部署选择;另一方面通过整合宝兰德基础软件生态的运维监控能力,可显著降低跨平台异构环境下的配置复杂度与运维成本,加快信创产品的规模化落地。此次拓展不仅强化了DP中间件的信创生态兼容能力,还为未来深入适配国产化全栈生态、利用平台统一管理能力打下了技术基础。

其他优化&修复:​

  1. 优化 任务策略删除数据任务的默认预警指标「任务报错」
  2. 优化 DP登录校验——调整敏感度
  3. 修复 StarRocks delete 操作,生成 Stream Load 的 columns 参数,使用了 SQL 关键字 key,没有转义
  4. 修复 非容器化部署dameng作为源端时区减8小时 完成
  5. 修复 Oracle Source RENAME TABLE 策略未生效(小写表名场景)
  6. 修复 Oracle Agent SEND 线程 Avro 序列化瓶颈导致发送吞吐仅 2000 rec/s,延迟持续增长直至崩溃
  7. 修复 Oracle LogMiner CDC 延迟优化与稳定性修复
  8. 修复 默认DP_SINK_ENABLE_DEST_PIPE_THREAD_POOL=true池化下的丢失写入问题
  9. 修复 使用映射规则设置批量设置并发分区,源表存在主键但使用非主键字段进行并发分区设置
  10. 修复 数据链路添加同步表时输入字符匹配会异常显示两遍
  11. 修复 4.24.4之前版本升级最新版本启动报错
  12. 修复 5.x mysql配置库webservice初始化建表唯一索引超长导致启动失败
  13. 修复 【ftp】ftp节点没有上传ssl认证文件的地方,不上传文件节点连通性校验报错
  14. 修复 【Oragent】getRowDataFromDb 未捕获 SQLException 导致进程崩溃反复重启
  15. 修复 Hive Connector Source/Sink 性能修复与优化
  16. 修复 dameng dsc使用备节点做源,给增量会报错cannot add duplicate logfile

V5.6 版本​

2026-3

功能列表​

zk、kafka开启plain后,高可用、Agent等功能不可用​

本次针对ZooKeeper和Kafka开启Plain认证后的功能缺失进行全面适配,解决高可用节点及Agent因认证阻断导致无法通信的问题。

适配范围:盖Oracle、OceanBase、MySQL、NewMySQL、TDSQL、达梦等高可用节点,以及Oracle、OceanBase、TiDB等Agent读取节点(DB2/AS400因IBM CDC API限制无法支持)。同时支持外部Kafka缓存节点在页面配置Plain认证信息。

适配内容:

  • 高可用节点适配
    • ZooKeeper连接支持配置Plain认证参数(用户名/密码)
    • 节点选举与故障转移过程中的元数据存储/读取适配认证链路
  • Agent读取节点适配
    • Agent与ZooKeeper间的通信支持认证握手
    • Web端可正常获取加密后的Agent状态与节点高可用信息
  • 外部Kafka缓存支持
    • 支持在页面配置Kafka Plain认证的用户名和密码
    • 适用于使用外部Kafka作为数据缓存的数据节点

核心价值:确保启用认证后,高可用选举、Agent状态上报、Web端元数据获取等功能恢复正常,保障生产环境安全合规下的同步任务稳定运行。

位点逻辑重构(一期)​

由于 DataPipeline 历史有关位点的(指定起点)机制存在逻辑混乱、实现不统一、历史故障多等问题,因此本次重构从框架层彻底规范位点处理流程。

  • 位点一致性:
    • 问题:首次激活与二次重置时位点不一致,后端依赖差异反推模式,逻辑复杂且易错
    • 重构方案:统一位点模型,消除激活与重置间的差异,无需反推
  • 映射级完善:
    • 问题:节点统一位点和分映射位点支持功能不统一,部分节点的分映射功能不够完善
    • 重构方案:修复映射位点保持能力统一,框架层保证一致性
  • 实现方式:
    • 问题:分布式/集中式/Agent节点的位点处理逻辑散落在各连接器,重复且混乱
    • 重构方案:框架层统一处理位点恢复与重置,连接器仅实现差异化接口
  • 职责边界:
  • 问题:需要时临时计算,哪里需要哪里重算,逻辑混乱
  • 重构方案:明确各组件作用边界,规范位点处理标准步骤,框架层与连接器层职责分离
  • 历史故障:
  • 问题:旧位点模式遗留多种故障场景
  • 重构方案:一并修复,提升系统稳定性

本次重构将位点管理从“连接器各自为政”升级为“框架层统一调度”,大幅降低开发复杂度与故障率,为后续分布式节点扩展奠定坚实基础。

MySQL系增量解析性能优化​

本次针对MySQL系的增量解析机制进行深度优化,核心改进为引入GTID缓存。在旧版逻辑中,每次解析增量日志需重复读取和计算GTID信息,导致大量冗余IO与解析开销。优化后,系统将解析后的GTID进行本地缓存,后续直接复用,大幅减少重复工作。

性能对比:以NewMySQL为例,优化前p95读速率为6.05MB/s,优化后飙升至35.51MB/s,提升幅度高达486.9%,效果极其显著。

该优化不仅显著降低了增量同步延迟,还减轻了源库日志读取压力,尤其适用于高并发、大事务场景。整体上提升了MySQL系数据同步的吞吐能力与稳定性,为用户带来更高效的实时数据管道体验。

页面登录用户定期更新密码​

本次对用户登录功能进行增强,新增用户密码到期管理能力。管理员可根据企业安全策略,在系统中灵活配置密码有效期(如90天),密码到期后用户可以选择「忽略并继续使用当前密码」或者选择「重置密码」。也可设置是否开启“强制修改”模式,当开启强制修改后,可以配置临期提示。设置临期提示时长后,系统将在密码临期时向用户推送提醒通知,到期后强制用户修改密码方可继续使用。

该功能有效满足了等保合规及企业安全审计对密码定期更新的要求,帮助组织主动防范密码泄露风险,提升账户安全性。同时,临期提醒与强制修改相结合,既保障了用户体验,又强化了安全管理闭环,为企业级数据同步平台的身份认证体系提供了更完善的治理能力。

其他优化及缺陷修复​

位点逻辑重构需求修复问题:​
  1. 修复:mysql源端无并发分区(dbz)内存模式,统一起点激活时间起点启动不读取数据
  2. 修复【oracle】源端激活任务报错:Caused by: java.lang.NullPointerException: Cannot invoke "com.datapipeline.base.connector.source.model.SchemaDefinition.getColumns()"
  3. 修复【oceanbase】带并发读取增量任务,全量初始化后,再使用指定起点功能,任务不再读取增量,agent-topic中有数据进入
  4. 修复【newpg】【gaussdb】【vastbase】【tdsql for pg(oracle,pg)】【gbase8c】【mogdb】的统一起点配置,使用激活时间为起点,会读暂停期间给的增量;使用全量初始化,暂停期间给的增量会多读1遍
  5. 修复【mysql】源端「内存模式」下,设置指定位点激活,不读数据,新给增量数据可读
  6. 修复【polardb】分映射指定起点(表1包含分区,表2,3无分区),表2由全量初始化-暂停时进度-激活任务时间为起点,状态变化时数据不符合预期
  7. 修复【mysql】多映射-指定起点功能失效;mysql源,统一起点设置为全量初始化后给增量,暂停修改为分映射起点,会重读全量
其他优化&修复:​
  1. 优化 【达梦】logminer读取性能
  2. 优化 默认值和注释的引号边界符处理
  3. 优化 索引冲突处理过程的反查查询条件没有区分数据类型 - 剩余节点补全
  4. 修复【Ob-Oracle】源到【kafka】偶现丢失数据
  5. 修复源端【mysql】节点联合主键表,目的端【tdsql】,多次更改主键后insert,再delete操作后,目的地数据不删除
  6. 修复【达梦】表的字段注释信息没有设置到 EntityField 对象上
  7. 修复导出链路后迁移到新环境JSON文件太大导致导入失败
  8. inceptor_orc源表链路映射到目的地表有diff,实际进入字段映射没有 完成
  9. 修复【hbase】(kerberos认证)获取表是否存在报错 完成

V5.5 版本​

2026-3

功能列表​

Kafka 作为目的地时,要求 Topic 能输出 DDL 执行信息​

本期新增功能支持在Kafka作为目的地时,将DDL执行信息输出到指定Topic中,且需选择结构变化策略为在目的地执行,才能够。该功能通过开启开关控制,使数据同步过程中的表结构变更能够被下游系统捕获和响应。根据序列器类型不同,配置要求有所区别:

  • Avro序列器:需要在高级清洗脚本中明确定义DDL结构,以确保序列化正确。此外,使用 Schema Registry 其兼容性检查设置为 FULL 或 BACKWARD时,如果源端执行了字段精度、标度等结构修改,可能会因兼容性校验失败而报错,在使用该功能时需要注意
  • String序列器:则在清洗脚本中配置DDL结构,使用相对简单。

使用该功能时需特别注意:在Avro模式下,Schema Registry 的严格兼容性设置可能阻塞某些结构变更,建议结合业务需求合理设计Schema演化策略,或选择String序列器以避免兼容性问题。

适配 GoldenDB 作为目的地​

本期新增对 GoldenDB 6.1.02 版本作为目的地节点的全面支持,通过JDBC写入方式,实现了与GoldenDB的无缝对接。该功能兼容GoldenDB的集中式和分布式两种部署架构,能够满足不同规模业务的需求。在表类型支持上,支持创建和写入单点表、分片表及广播表,确保数据路由与存储符合GoldenDB的分布式规则。同时,产品完整保留了数据同步的核心能力,包括DML与DDL语句的同步执行、全字段类型适配、全量初始化以及灵活的大小写设置,为用户在国产分布式数据库环境下的数据集成提供了稳定、高效的解决方案,进一步丰富了信创生态的同步能力。

适配 OceanBase 数据库 4.2.5.6 版本​

本期新增对OceanBase 4.2.5.6版本的全链路支持,可将其同时作为数据源与目的地进行高效同步。作为源端时,支持通过OB Agent日志解析方式实时捕获增量数据,也可通过JDBC进行全量或增量查询;作为目的端时,支持通过JDBC写入,兼容集中式与分布式部署模式。该功能完整覆盖了数据同步的基本能力,包括DML/DDL同步、全字段类型适配、全量初始化、大小写设置及断点续传等。通过深度适配OceanBase的最新版本,产品进一步提升了在分布式数据库领域的生态兼容性,为用户在金融、政务等场景下的国产数据库数据集成提供了稳定、高效的管道支持。

其他优化及缺陷修复​

  1. 修复【Oracle Agent】 重启后事务数据重复导致整合失败 (CMT_TRANS 缺少 XID 去重机制)
  2. 修复【Oracle Agent】行链接 HEAD piece 合并失败时未遵循 skip_merge_fail/query_merge_fail 配置,导致不完整数据被输出
  3. 修复【IBM CDC】多表任务激活性能问题:全局锁和不合理的超时计算导致大表量场景激活失败
  4. 修复 4.24.3版本安全漏洞修复
  5. 修复 数据校验列表问题汇总
  6. 修复 任务中修改映射时,无法取消已选择的映射
  7. 修复 生产环境源端达梦报错 StringIndexOutOfBoundsException
  8. 修复 5.x所有可以刷新表的节点日志有异常
  9. 修复【starrocks】源端出现boolean类型字段,读取数据报错
  10. 修复 QMD(Quick Multi-Delete)操作生成错误 RowID,导致 DELETE 记录与 LogMiner 不一致 完成
  11. 修复 【Oracle Agent】RAC 环境下新建分区丢失数据
  12. 修复【TdsqlPg支持pgoutput】pg和oracle兼容模式的tdsqlpg不支持表名包含引号
  13. 修复 yashan新建节点,链路展示数据库被赋值成了schema
  14. 修复 【GBase 8s CDC】指定起点输入起点Gbase 8s CDC 记录序列号无法输入
  15. 修复【5.x】kafka做目的地时,数据任务中点击写入设置会白屏

V5.4 版本​

2026-1

功能列表​

支持YashanDB数据库​

DataPipeline 5.4版本全新集成国产数据库YashanDB,全面支持其作为同步任务的源端与目的端,标志着产品在信创生态支持上的又一重要进展。

本次功能实现了对YashanDB “Yashan”与“MySQL”两种兼容模式的完整适配。在数据读取方面,支持通过JDBC进行通用查询,并为Yashan模式提供了高性能的YStream日志流式读取,以满足实时同步的低延迟要求。数据写入则通过JDBC接口完成。

功能深度覆盖了YashanDB的多种表类型,包括HEAP、TAC(事务型聚集表)和LSC(行列混合存储表),确保在不同业务场景下的数据可同步性。对于索引的支持也根据模式进行了区分:Yashan模式支持普通索引、唯一索引、反转索引和函数索引;MySQL兼容模式则支持普通索引与唯一索引。

此外,该节点完全融入了DataPipeline现有的企业级功能生态,兼容高级数据清洗、指定起点(选择检查点)、错误队列处理、数据写入策略等丰富的任务配置策略,保障了复杂生产环境下数据同步任务的可靠性、灵活性与可运维性,为企业用户将YashanDB融入异构数据架构提供了开箱即用的高性能管道,强化了在关键信创场景下的数据流通能力。

Paimon 节点的策略配置和全量初始化中的删除重建需要从 Paimon 中获取表的元数据信息​

针对Paimon不支持原生TRUNCATE操作的限制,本次优化针对源节点表结构变更TRUNCATE操作新增了的“删除重建”的策略选项。当同步任务选择该策略或任务执行进行全量初始化时,可采用删除重建的选项。其关键在于,在重建表前会优先从Paimon目的端读取该表的精确元数据(如字段、分区结构),确保新建表与源端目标结构及历史定义完全一致,从而在完成数据清空或初始化任务的同时,保障了表结构的连续性与异构系统间的可靠兼容。

编辑密码置空可改为可配置​

此次新增的“密码是否返回为空”配置项,是数据同步产品在安全与易用性平衡上的一次精细化管理升级。系统管理员现可在系统配置-密码策略中配置“是否允许接口返回节点密码信息”,根据团队的安全规范选择“体验优先”或“安全优先”模式。

  • 选择“体验优先”时,在查看或编辑数据节点配置页面,系统会返回已加密存储的密码密文。这避免了用户在每次调整连接参数时都需重新输入密码,极大提升了日常运维与调试的效率。
  • 选择“安全优先”时,则遵循更严格的零信任原则,接口在任何情况下均不返回密码信息(即使加密形式)。这意味着任何对节点配置的修改操作,都必须由用户重新输入正确的密码进行验证,从而确保了密码信息的绝对可控,有效防止了通过界面或接口的潜在泄露风险。

该功能将安全策略的选择权交给了客户,允许不同安全等级要求的团队灵活定义自身的管控基线。

分页性能优化​

本次对节点、链路/映射、任务列表的加载性能优化,主要针对海量数据场景下的翻页与渲染效率瓶颈。通过重构后端分页查询、优化数据库索引、引入前端虚拟滚动与缓存策略,并对大规模数据实施分批异步加载,显著提升了列表操作的响应速度与流畅度。

列表首屏加载时间以及翻页操作响应时间从原来的2-3s秒缩短至300ms秒左右,有效避免了长时间操作可能引发的页面卡顿或崩溃问题。这项优化大幅改善了用户在处理大规模数据同步任务时的日常管理体验,使运维操作更加高效顺畅。

移除 flyway 数据库迁移机制​

本次移除5.x版本中的Flyway数据库迁移机制,是一项旨在根治技术债、提升部署敏捷性的核心架构重构。Flyway固有的顺序版本锁定机制,在多实例分布式场景下已成为快速迭代与灵活发布的瓶颈。优化后,产品采用基于SQL模板的声明式初始化方案。通过配置中心统一下发与当前版本严格匹配的完整表结构定义,各运行实例以幂等方式按需初始化或更新数据库。此举移除了全部 132+ 个历史迁移脚本及 flyway_schema_history 表,彻底解耦了数据库变更与应用发布周期。

收益显著:直接减少了应用启动时间和首次部署的复杂度,降低了代码维护负担,并为实现灰度升级、多版本并行等高级部署模式铺平了道路,提升了大规模集群下的运维可控性。

其他优化及缺陷修复​

  1. 修复【MRS-HDFS\&Hive版本适配】HDFS 源文件配置,添加源文件为链路目的地新建文件,添加显示文件以存在
  2. 修复 PG 系节点表名带引号的表加载不到dp里
  3. 修复 Starrocks节点streamload写入连接大量未关闭
  4. 修复【Runtime kafka connect故障遗留】offset并发提交导致的报错
  5. 修复【Runtime-taskManager-池化】task-manager启动报错进程不退出
  6. 修复 写入 PG 目的地, Socket 层读取超时导致线程卡住
  7. 修复 inceptor_orc源表链路映射到目的地表有diff,实际进入字段映射没有
  8. 修复 5.x用户自定义参数-节点赋值-选择库/表/字段下一步按钮异常
  9. 修复 5.x系统配置默认值-策略配置-自动重启策略添加不生效
  10. 修复 5.x系统设置-系统预警查看筛选问题
  11. 修复 5.x系统配置默认值-策略配置-自动重启策略添加不生效
  12. 修复 mogdb作为目的地,当选择的策略为「数据源清空正在同步的表」 - 自动在目的地清空同步的表的数据,目的地并没有清空