2025年版本更新日志
v4.21版本
2025-06
功能列表
支持TiDB 7.x版本作为数据源和目的地
- 支持TiDB 7.x版本作为数据源和目的地
- TiDB 7.x作为数据源需要支持TiCDC实时采集和IDBC读取
- TiDB 7.x作为目的地需要支持JDBC写入
PG新增PG-vector 字段类型
DataPipeline新增对PostgresQL数据库支持源/目标库的vector字段的全量同步和实时同步,通过WAL日志解析捕获向量数据变更(增删改),保障高维数据一致性。该能力为AI驱动型业务提供开箱即用的向量数据管道,强化非结构化数据实时处理竞争力。
DP产品易用性及安全问题优化
本次优化聚焦配置安全与操作效率提升,核心内容及原因如下:
- 表设置默认值改为「不匹配」:避免误同步敏感字段
- 关闭Topic查看功能:防止未授权访问数据流向
- 映射监控提示开启开关:确保监控查看明确性&合规性
- 批量取消非空约束/主键:简化目标库表结构预处理
- 批量移除字段映射:快速重置错误配置,降低人工成本
- 并发分区读取增加说明&一对多限制:明确一对多同步并发分区配置多个目的地进会保留一份配置,说明保证了用户配置正确性
支持向量数据库milvus作为目的地节点
本次新增对向量数据库Milvus作为目标端的同步支持实现结构化数据与向量数据的对接。DataPipeline同时提供配置大模型接口及密钥,可通过不同的大模型将结构化数据转换为向量数据。适配Milvus的集合,支持集合的各种属性配置以及向量索引配置。
支持国产化中间件tongweb
DataPipeline在本次选代中新增对东方通应用服务器中间件TongWeb的全链路同步支持,通过深度整合TongWeb中间件,产品构建了安全、高性能、全栈国产化的数据同步链路,为信创场景提供“开箱即用”的解决方案,推动关键行业核心技术自主化进程。
DP产品license 管理升级
DataPipeline在本次迭代中对DP产品license管理进行升级,将License从功能授权升级为资源治理工具。V4.21中License对资源组资源进行管理,例如新增资源组后,内存资源超出限制时,新增资源组将无法使用,需重新获取满足当前资源要求的License。这样保障了核心链路稳定,通过硬隔离机制平衡高可用需求,在保障高并发同步性能的同时,为企业构建安全、经济、可预测的容器化资源管理体系。
若您升级到v4.21,请联系项目经理获取新的license
mysql系节点ddl解析器替换+适配新版ddl模型
DataPipeline本次通过底层解析引擎升级,实现MySQL全系数据库DDL的高可靠、零感知同步,支撑表结构在线变更,保障核心业务连续性与数据一致性
指定起点/重置点位逻重构
DataPipeline通过反馈以及不断对产品进行反思后,对数据任务配置指定起点功能进行优化。本次优化包含以下内容:
- 明确指定起点「选择检查点」与「输入起点」两种配置方式的区别,并重新对交互方式以及配置方式进行设计
- 分映射新增指定起点配置本次优化提升了对于不同映射起点配置的灵活性,并且提升对于用户配置的友好性
本次升级不包含TDSQL节点
其他优化及缺陷修复
- 优化SQLServer显示字段顺序优化优化【系统日志】超时登出日志内容
- 修复polardb节点,colu53 binary类型,增量数据同步不一致,且看起来全量和增量数据处理方式不一致
- 修复mysql源执行连续ddl,【已读取结构变化量】多读数据问题
- 修复TICDC获取版本失败,无法使用
- 修复TDSQL增量同步无增量读取无报错
- 修复【GoldenDB6.1.02/polardb】多任务包含并发分区同时激活时,进入增量后高频报错刷新表结构和值转换失败
- 修复【GoldenDB6.1.02】任务激活前执行ddl,激活任务后未识别(理论上与new-mysql-致走对比逻辑识别ddl)或 识别后报错
- 修复【GoldenDB6.1.02】大数据量情况下,全量读写未完成,暂停任务后执行加列结构变化,再次重启任务,报错
- 修复【Mysql系节点ddl解析器替换】GoldenDB6102,设置并发分区启动任务报错
- 修复【四川银行】导入数据的时候无法导入主键
- 修复Kingbase varchar(255)类型长数据,update的after捕获为空
- 修复Kingbase 带引号的字段名称,数据捕获不完整
- 修复【财通资管】金仓到0racle实时同步全量和增量阶段date类型丢失时间精度
v4.20版本
2025-05
功能列表
逻辑主键重构
数据加载是数据同步中Load部分最重要的一步,本版本中对于该功能进行重构。
- 提供了逻辑主键的规则设置,可以基于源表或者目的地表的元数据自动匹配
- 所有DP当前支持update,merge,delete的节点均支持逻辑主键的设置。
这彻底解决了过往过程中对于目的地逻辑主键的更新问题。
Oceanbase 节点-Oblogreader 支持多租户采集
由于Oceanbase 节点连接时需要租户信息,但是Oblogreader实质又是对集群的,因此早期的设计中,Oblogreader需要与节点配置一致,因此oblogreader会需要强制填写租户信息,这就导致当有多个租户时,其实可以用一个采集代理,实际配置需要与节点一致,这导致未来扩容的资源使用会有较大的浪费,本版本将该限制解除,Oblogreader配置时,支持监听多租户,即一个集群仅需配置一个采集代理,从而优化资源使用。
Ocenabase节点支持Obsharding
OBsharding是对于Oceanbase的代理管理软件,用户可以通过Obsharding,实现单机管理分区表
- 新增Oceanbase-OBsharding节点
- 如果Obsharding管理的节点隶属于不同的集群,需要配置多个OBlogreader采集代理
任务配置新增复制任务功能
为了提供便利性,同时对于需要补数的任务提供更快地操作路径,产品提供了任务复制的功能。
任务执行新增单次同步的功能
对于部分调度任务,仅需要同步一次,配合复制任务功能,可以快速的支持补数和单次数据迁移的业务场景。
数据校验针对校验出来的差异进行补数
当校验任务校验出差异数据后,可以选择修复范围,并进行一键补数修复。
注意补数实际上是通过jdbc读取在写入到目的地。因此如果有字段类型不一致导致的校验差异,通过补数任务无法修复。
数据同步支持自定义错误队列
当前产品做数据同步时,提供的错误队列是预判断的,由于各个数据库有自己的限制,因此有可能预判断无法全部拦截数据,因此对于未能拦截的数据,当提交到数据库报错的场景,本功能可以根据数据库返回的错误码,进行自定义配置。当提交数据库返回的错误匹配到该错误码时,该批数据将会整体进入到错误队列。从而保障任务的连续性。
Hive数据节点分区读写重构
Hive作为数据源时,分区的配置重构,对于分区根据是否是增量分区,以及如果是增量分区时,是否有界,共同配置决定以下配置:
- hive的读取过滤配置:该部分将会在所有的任务执行配置中作为公共的过滤条件与起点和终点求交集确定读取范围
- hive的增量分区:需要根据业务上,分区的增量逻辑及属性进行配置。同时根据是否有界无界,来支持多层分区的增量读取
- hive的起点和终点配置
- Hive的读取步长
Hive作为目的地时,简化了写入配置,将原有的配置化分区配置,修正并简化为SQL编辑方式书写。
TDSQL for PostgreSQL 集中式部署模式支持日志解析
- 对于TDSQL for PostgreSQL 节点,当集中式部署时,支持wal2json获取增量数据
- 对于分布式部署暂不支持日志解析
Oracle 实时采集模式适配DDL事件模型
Oracle 实时采集对于DDL的处理,按照事件模型驱动,将可以解决连续DDL的复杂业务场景。
其他优化及缺陷修复
- 系统设置-系统信息报表和系统设置-管理日志查询功能下线,由于该功能需要logstash组件,而该组件又有大量的安全隐患,因此在本版本下掉该功能。
- 修复了达梦数据库Float,Double两种字段类型精度标度的设置问题
- 修复了TDSQL指定起点和上一次相同的时间启动时,不会计算位点,导致任务不能正常读取数据。
- 修复了Goldendb集中式部署模式当任务选择指定起点,节点开启检查点策略无法填充指定位点的问题。
- 修复了数据加载过程中,主键冲突的问题。
- 修复了Oracle作为目的地,加载配置中参数配置错误的问题
- 修复了Pg系节点作为目的地,如果是无主键表,但是指定了逻辑主键,更新非逻辑主键列时,没有正确走update策略的问题
- 修复了映射设置无法正确保存的问题
- 修复了任务激活后,再暂停,然后修改节点配置,未更新redis缓存中节点数据的问题
- 优化了用户访问超时登出的业务逻辑
- 修复了mogdb多联合唯一索引表,索引为空update-merge异常问题
- 优化了mysql连接器检查主键冲突的方式
- 优化了数据校验对于空字符串占位的数据比对问题
- 修复了Inceptor作为目的地,update-update的配置情况下。源端主键变更,目的地未变更的问题
v4.19版本
2025-04
功能列表
Oracle节点支持非ASM存储架构的远程采集
- 通过部署RFA(Remote File Accessor),实现对于非ASM架构的高效远程日志采集
- RFA自身是无状态的,所有的状态信息均维护在现有的agent上。
详细内容:部署安装,配置请参考oracle-agent 手册
南大通用Gbase 8s 节点支持备库采集
- 支持了从备库直接基于裸日志进行的日志解析。
南大通用自身提供了基于API的日志解析方式,但是该API目前仅支持主库的采集和解析,对于部分业务系统,仅开放备库系统,因此原有的API的日志解析方式,在部分系统中将无法使用,本次需求,通过部分Gbase 8s 的agent 实现对于备库的日志解析。
数据校验节点支持扩展,以下节点新增数据量及数据内容差异校验
- 扩展支持了Oceanbase(MySQL租户类型,Oracle租户类型)
- 扩展支持了Gbase 8s
- 扩展支持了ArogDB
- 扩展支持了GaussDB
达梦节点DSC架构多实例解析
- 配合达梦DSC及DM架构,支持达梦高可用架构的数据解析。特别是对于DSC架构下,多实例的解析。
PostgreSQL 节点日志解析性能提升
- 通过采用pgoutput方式,提升PostgreSQL日志解析性能
其他优化及缺陷修复
- Oracle agent 优化redo record 排序及处理逻辑
- 优化并提升了达梦 logminer采集速率
- 登录登出场景的日志信息完善,补充了超时登出和异地登录挤掉原登录账号的日志记录。使得登录登出日志信息闭环
- 优化了kafka作为目的地时,高级清洗里如果return null,导致进度无法提交,从而出现写入淤积的情况。
- 修复了Inceptor作为目的地,全增量衔接报错的问题
- 修复了内存模式下,PG系列的节点,由于复制槽不提交LSN,导致事务日志不回收的问题。以及如果数据任务中的表无增量交易,复制槽不提交LSN,导致事务日志不回收的问题
- 优化了数据校验模块里,对于不支持的节点展示的问题,未来该部分节点相关的任务和映射将不再展示
- 升级了Spring boot 到3.4.4 , tomcat 版本升级到10.1.39
- 修复了Oceanbase 作为配置库时,相同的数据映射,但是在不同任务中分别执行,可能导致的schema不一致引发的结构变化等问题
- 优化了简单列计算对于字段的识别机制
- 修复创建索引时,索引的排序未展示,无法配置的问题
- 修复了旧运行时迁移新运行时,进度迁移失败的问题
- 修复了hive,argodb,inceptor节点kerberos认证 票据过期问题
- 修复了TiDB空表增量任务任务暂停后再插入增量,增量数据不识别的问题
- 修复了Oracle-Number解析时,若无标度,则默认值为0,而非Null。
- 修复了MySQL作为数据源时,连续DDL的处理问题
- 修复了Starrocks 作为目的地时,采用streamload的方式写入时,写入中文字段报错的缺陷
- 修复了Gbase 8c 和GaussDB 作为目的地时,二进制数据如果是null时,写入报错的问题
- 修复了在新运行时下,数据校验任务状态展示异常的问题
- 修复了未同步的字段发生结构变化导致任务暂停的问题
- 修复了Starrocks 2.x版本,如果有外表,获取表失败的问题
v4.18版本
2025-03
功能列表
MySQL系列节点DDL解析器替换
- 更新并替换了新MySQL,TDSQL的DDL解析器
- 对于DDL的支持类型更加丰富,同时对于同构数据库中默认值中包含函数的场景也可以支持同步。
- 对于连续DDL的支持
- DDL的支持详情及约束,请参考两个节点关于DDL读取的部分
电大金仓KingbaseES节点支持
- 支持 KingbaseES V8,V9 版本
- 支持 JDBC 读取
- 支持Decoderbufs wal日志读取
- 支持 JDBC写入
节点的详细支持情况,包括表,视图,索引,字段类型,DML,DDL请参考节点详细资料
Doris 对于加列和修改修的DDL的支持
- 对于非聚合模型和非聚合字段类型,支持新增列和修改列的DDL
Oceanbase Agent 支持4.2.1.10版本Server
其他优化及缺陷修复
- 梳理了自定义参数的场景,更新并维护了手册即文档。同时表达式定义时间格式新增Unix时间戳格式。
- 优化了ASM连接遭遇网络闪断后,支持自动恢复。
- 由于达梦数据库官方的缺陷,修改了DM8数据库的权限要求
- DP配置导入导出增加了对于受控停止任务的支持
- 修复了inceptor hybase表主键获取识别的缺陷
- 修复了rename table 导致任务暂停,只能修改配置表任务才可以继续的缺陷
- 修复了Gbase 8c,GaussDB,MogDB,Vastbase, ssl环境加密前环境升级至加密后版本不可用的缺陷
- 修复了TDSQL使用时间设置起点时,没有将Gtid purged和Gtid executed 做合并导致找不到日志的缺陷
- 修复了GoldenDB 6.1.02 JDBC模式下,无法进行视图同步的缺陷
- 修复了MogDB到MySQL ,interval 字段类型默认映射的缺陷
- 修复了任务修改结构变化策略不生效的缺陷
- 补充完善了系统设置-系统参数默认值-数据链路-策略配置-错误队列策略支持的节点范围
- 修复了达梦错误队列规则没有varchar的缺陷
- 修复了MongoDB last_max 函数的缺陷
- 修复了节点创建阶段,节点配置约束,允许用户进行修改和调整
- 修复了Gbase 8c money字段类型创建表失败的缺陷
- 修复了OSS目的地,完成标识判断错误的缺陷
- 优化了MogDB 到Hive 1.1 Data类型的默认字段映射
- 优化了Ob_oracle到Oracle varchar字段类型的默认映射
- 优化了达梦对于rollback的解析逻辑
v4.17 版本
2025-02
功能列表
DB2 for i (AS/400) 新增Journal 解析方式获取增量
- 新增DB2 for i( AS/400)通过Journal 解析的方式获取增量,进一步增加了对于IBM i 系列 (AS/400)的日志解析的支持,从而摆脱对于CDC 的插件的依赖。
- 补充了 DB2 for i( AS/400)到 Clickhouse,selectdb,starrrocks的默认映射。
受控停止功能
- 新增受控停止功能,可以通过定义规则和条件,实现对于映射层级和任务层级的读写的精准控制,适用于金融领域的日切场景。
- 支持规则的状态控制,支持记录并统计规则被触发和执行的情况。
映射读写控制
- 新增对于映射读写的手动控制,可以根据需要对映射的读写实现精准控制。并且支持无缓存暂停和立即暂停。当选择无缓存暂停时,会将缓存数据都写入到目的地后,在暂停该映射的写入。
其他优化及缺陷修复
- 由于oracle 一张表只允许有一个long类型的字段。因此修改了到Oracle的字段类型的默认映射规则
- 优化了SelectDB/Doris,Inceptor节点连通性校验的逻辑
- 由于VastBase Tinyint的实际字段类型支持无符号和有符号,因此修复了Vastbase Tinyint(INT1)的默认映射
- 修复了Gbase 8a 作为目的地,清空目的地,方式为删除重建时,任务报错的缺陷
- 修复了hashdata 的interval类型的 目的地 varchar 数据太长进入错误队列的问题
- 修复了Oracle 节点处理DDL时,先检查判断表是否存在的问题
- 修复了高级清洗试运行时,manager与数据库建立的连接未被释放的缺陷
- 修复了暂停任务后,connectdp与数据库建立的连接未能释放的缺陷
- 修复了Starrocks 作为目的地,当目的地执行DDL时,等待过程判断状态,Finished 和Cancelled时,均不会卡住任务一直等待。
- 修复了DB2 for i( AS/400)到Oracle / Oceanbase -Oracle /达梦的字段类型默认映射的缺陷
- 修复了3.7版本 达梦数据节点连接参数升级到新版本处理问题
- 修复了当开启debug日志后,connectdp线程会卡住的缺陷
- 更新了Hudi的spark的版本。支持hudi0.10.1
- 修复了ArgoDB作为目的地时,执行update 和delete 的缺陷
- 修复了pg系列的节点(GaussDB/Gbase8c/Vastbase/MogDB)到SQL-Server 的字段类型映射Interval的字段类型映射问题
- 修复了MySQL 指定起点,GTID设置不生效的问题
- 修复了kafka Avro 作为数据源时,新增列结构变化支持的问题
- 修复了预警内容显示重复信息的问题
- 支持了Oracle ASM 密码加密处理的问题
功能下线:
偶数DB数据节点暂停支持
同步终点功能暂停支持
pg作为数据源时,指定起点LSN功能下线
v4.16 版本
2025-01
功能列表
DP部署服务支持密码加密访问
- DP底层服务之间的访问支持加密,并且可以根据需要对于部署文件进行拆分。拆分成ENV和Conf两个文件,方便后续做扩展。
节点权限校验功能优化
- 节点的权限校验拆分为连通性和功能权限校验。当点击可用性校验时,节点校验会优先校验节点的连通性,对于用户而言,需要保障节点连接地址填写正确。当连通性校验通过后,会在进行DP所需要功能的可用性校验。会按照读写模式进行拆分,比如读有JDBC和CDC两种模式,写有JDBC和文件写两种,则会分别对权限进行校验。注意权限校验不通过不会影响到节点使用,仅会有部分功能受限,比如对于有的场景而言,不希望系统对目的地表进行结构变化的处理,您可以在创建用户时,不给该用户赋权,这对应的无法通过该用户实现对目的地的表进行结构的修改,从而让业务系统更加安全。
- 本次修改的节点范围:Oracle,Oceanbase,达梦,ArgoDB,Kafka,Hive
其他优化及缺陷修复
- 丰富了Hive 作为数据源支持时间的Format
- 修复了批量完成标识生成失败的问题
- 修复了自定义加密,无法创建新用户的问题
- 修复了底层定时服务的任务失败导致kafka进度提交失败的问题
- 优化了Oracle Agent处理没有事务ID数据回滚操作的效率
- 修复了跳板机开启后,导致所有节点校验走跳板机的问题
- 修复了跳板机部署方案下, 试运行白屏问题
- 修复了TDSQL_mysql分布式协调未完成,但是任务暂停又重启导致任务报错的问题。