跳到主要内容
版本:v4.18

2025年版本更新日志

v4.18版本​

2025-03

功能列表​

MySQL系列节点DDL解析器替换​

  • 更新并替换了新MySQL,TDSQL的DDL解析器
  • 对于DDL的支持类型更加丰富,同时对于同构数据库中默认值中包含函数的场景也可以支持同步。
  • 对于连续DDL的支持
  • DDL的支持详情及约束,请参考两个节点关于DDL读取的部分

电大金仓KingbaseES节点支持​

  • 支持 KingbaseES V8,V9 版本
  • 支持 JDBC 读取
  • 支持Decoderbufs wal日志读取
  • 支持 JDBC写入

节点的详细支持情况,包括表,视图,索引,字段类型,DML,DDL请参考节点详细资料

Doris 对于加列和修改修的DDL的支持​

  • 对于非聚合模型和非聚合字段类型,支持新增列和修改列的DDL

Oceanbase Agent 支持4.2.1.10版本Server​

其他优化及缺陷修复​

  1. 梳理了自定义参数的场景,更新并维护了手册即文档。同时表达式定义时间格式新增Unix时间戳格式。
  2. 优化了ASM连接遭遇网络闪断后,支持自动恢复。
  3. 由于达梦数据库官方的缺陷,修改了DM8数据库的权限要求
  4. DP配置导入导出增加了对于受控停止任务的支持
  5. 修复了inceptor hybase表主键获取识别的缺陷
  6. 修复了rename table 导致任务暂停,只能修改配置表任务才可以继续的缺陷
  7. 修复了Gbase 8c,GaussDB,MogDB,Vastbase, ssl环境加密前环境升级至加密后版本不可用的缺陷
  8. 修复了TDSQL使用时间设置起点时,没有将Gtid purged和Gtid executed 做合并导致找不到日志的缺陷
  9. 修复了GoldenDB 6.1.02 JDBC模式下,无法进行视图同步的缺陷
  10. 修复了MogDB到MySQL ,interval 字段类型默认映射的缺陷
  11. 修复了任务修改结构变化策略不生效的缺陷
  12. 补充完善了系统设置-系统参数默认值-数据链路-策略配置-错误队列策略支持的节点范围
  13. 修复了达梦错误队列规则没有varchar的缺陷
  14. 修复了MongoDB last_max 函数的缺陷
  15. 修复了节点创建阶段,节点配置约束,允许用户进行修改和调整
  16. 修复了Gbase 8c money字段类型创建表失败的缺陷
  17. 修复了OSS目的地,完成标识判断错误的缺陷
  18. 优化了MogDB 到Hive 1.1 Data类型的默认字段映射
  19. 优化了Ob_oracle到Oracle varchar字段类型的默认映射
  20. 优化了达梦对于rollback的解析逻辑

v4.17 版本​

2025-02

功能列表​

DB2 for i (AS/400) 新增Journal 解析方式获取增量​

  • 新增DB2 for i( AS/400)通过Journal 解析的方式获取增量,进一步增加了对于IBM i 系列 (AS/400)的日志解析的支持,从而摆脱对于CDC 的插件的依赖。
  • 补充了 DB2 for i( AS/400)到 Clickhouse,selectdb,starrrocks的默认映射。

受控停止功能​

  • 新增受控停止功能,可以通过定义规则和条件,实现对于映射层级和任务层级的读写的精准控制,适用于金融领域的日切场景。
  • 支持规则的状态控制,支持记录并统计规则被触发和执行的情况。

映射读写控制​

  • 新增对于映射读写的手动控制,可以根据需要对映射的读写实现精准控制。并且支持无缓存暂停和立即暂停。当选择无缓存暂停时,会将缓存数据都写入到目的地后,在暂停该映射的写入。

其他优化及缺陷修复​

  1. 由于oracle 一张表只允许有一个long类型的字段。因此修改了到Oracle的字段类型的默认映射规则
  2. 优化了SelectDB/Doris,Inceptor节点连通性校验的逻辑
  3. 由于VastBase Tinyint的实际字段类型支持无符号和有符号,因此修复了Vastbase Tinyint(INT1)的默认映射
  4. 修复了Gbase 8a 作为目的地,清空目的地,方式为删除重建时,任务报错的缺陷
  5. 修复了hashdata 的interval类型的 目的地 varchar 数据太长进入错误队列的问题
  6. 修复了Oracle 节点处理DDL时,先检查判断表是否存在的问题
  7. 修复了高级清洗试运行时,manager与数据库建立的连接未被释放的缺陷
  8. 修复了暂停任务后,connectdp与数据库建立的连接未能释放的缺陷
  9. 修复了Starrocks 作为目的地,当目的地执行DDL时,等待过程判断状态,Finished 和Cancelled时,均不会卡住任务一直等待。
  10. 修复了DB2 for i( AS/400)到Oracle / Oceanbase -Oracle /达梦的字段类型默认映射的缺陷
  11. 修复了3.7版本 达梦数据节点连接参数升级到新版本处理问题
  12. 修复了当开启debug日志后,connectdp线程会卡住的缺陷
  13. 更新了Hudi的spark的版本。支持hudi0.10.1
  14. 修复了ArgoDB作为目的地时,执行update 和delete 的缺陷
  15. 修复了pg系列的节点(GaussDB/Gbase8c/Vastbase/MogDB)到SQL-Server 的字段类型映射Interval的字段类型映射问题
  16. 修复了MySQL 指定起点,GTID设置不生效的问题
  17. 修复了kafka Avro 作为数据源时,新增列结构变化支持的问题
  18. 修复了预警内容显示重复信息的问题
  19. 支持了Oracle ASM 密码加密处理的问题

功能下线:​

偶数DB数据节点暂停支持

同步终点功能暂停支持

pg作为数据源时,指定起点LSN功能下线

v4.16 版本​

2025-01

功能列表​

DP部署服务支持密码加密访问​

  • DP底层服务之间的访问支持加密,并且可以根据需要对于部署文件进行拆分。拆分成ENV和Conf两个文件,方便后续做扩展。

节点权限校验功能优化​

  • 节点的权限校验拆分为连通性和功能权限校验。当点击可用性校验时,节点校验会优先校验节点的连通性,对于用户而言,需要保障节点连接地址填写正确。当连通性校验通过后,会在进行DP所需要功能的可用性校验。会按照读写模式进行拆分,比如读有JDBC和CDC两种模式,写有JDBC和文件写两种,则会分别对权限进行校验。注意权限校验不通过不会影响到节点使用,仅会有部分功能受限,比如对于有的场景而言,不希望系统对目的地表进行结构变化的处理,您可以在创建用户时,不给该用户赋权,这对应的无法通过该用户实现对目的地的表进行结构的修改,从而让业务系统更加安全。
  • 本次修改的节点范围:Oracle,Oceanbase,达梦,ArgoDB,Kafka,Hive

其他优化及缺陷修复​

  1. 丰富了Hive 作为数据源支持时间的Format
  2. 修复了批量完成标识生成失败的问题
  3. 修复了自定义加密,无法创建新用户的问题
  4. 修复了底层定时服务的任务失败导致kafka进度提交失败的问题
  5. 优化了Oracle Agent处理没有事务ID数据回滚操作的效率
  6. 修复了跳板机开启后,导致所有节点校验走跳板机的问题
  7. 修复了跳板机部署方案下, 试运行白屏问题
  8. 修复了TDSQL_mysql分布式协调未完成,但是任务暂停又重启导致任务报错的问题。

​

​