跳到主要内容
版本:v4.17

2025年版本更新日志

v4.17 版本​

2025-02

功能列表​

DB2 for i (AS/400) 新增Journal 解析方式获取增量​

  • 新增DB2 for i( AS/400)通过Journal 解析的方式获取增量,进一步增加了对于IBM i 系列 (AS/400)的日志解析的支持,从而摆脱对于CDC 的插件的依赖。
  • 补充了 DB2 for i( AS/400)到 Clickhouse,selectdb,starrrocks的默认映射。

受控停止功能​

  • 新增受控停止功能,可以通过定义规则和条件,实现对于映射层级和任务层级的读写的精准控制,适用于金融领域的日切场景。
  • 支持规则的状态控制,支持记录并统计规则被触发和执行的情况。

映射读写控制​

  • 新增对于映射读写的手动控制,可以根据需要对映射的读写实现精准控制。并且支持无缓存暂停和立即暂停。当选择无缓存暂停时,会将缓存数据都写入到目的地后,在暂停该映射的写入。

其他优化及缺陷修复​

  1. 由于oracle 一张表只允许有一个long类型的字段。因此修改了到Oracle的字段类型的默认映射规则
  2. 优化了SelectDB/Doris,Inceptor节点连通性校验的逻辑
  3. 由于VastBase Tinyint的实际字段类型支持无符号和有符号,因此修复了Vastbase Tinyint(INT1)的默认映射
  4. 修复了Gbase 8a 作为目的地,清空目的地,方式为删除重建时,任务报错的缺陷
  5. 修复了hashdata 的interval类型的 目的地 varchar 数据太长进入错误队列的问题
  6. 修复了Oracle 节点处理DDL时,先检查判断表是否存在的问题
  7. 修复了高级清洗试运行时,manager与数据库建立的连接未被释放的缺陷
  8. 修复了暂停任务后,connectdp与数据库建立的连接未能释放的缺陷
  9. 修复了Starrocks 作为目的地,当目的地执行DDL时,等待过程判断状态,Finished 和Cancelled时,均不会卡住任务一直等待。
  10. 修复了DB2 for i( AS/400)到Oracle / Oceanbase -Oracle /达梦的字段类型默认映射的缺陷
  11. 修复了3.7版本 达梦数据节点连接参数升级到新版本处理问题
  12. 修复了当开启debug日志后,connectdp线程会卡住的缺陷
  13. 更新了Hudi的spark的版本。支持hudi0.10.1
  14. 修复了ArgoDB作为目的地时,执行update 和delete 的缺陷
  15. 修复了pg系列的节点(GaussDB/Gbase8c/Vastbase/MogDB)到SQL-Server 的字段类型映射Interval的字段类型映射问题
  16. 修复了MySQL 指定起点,GTID设置不生效的问题
  17. 修复了kafka Avro 作为数据源时,新增列结构变化支持的问题
  18. 修复了预警内容显示重复信息的问题
  19. 支持了Oracle ASM 密码加密处理的问题

功能下线:​

偶数DB数据节点暂停支持

同步终点功能暂停支持

pg作为数据源时,指定起点LSN功能下线

v4.16 版本​

2025-01

功能列表​

DP部署服务支持密码加密访问​

  • DP底层服务之间的访问支持加密,并且可以根据需要对于部署文件进行拆分。拆分成ENV和Conf两个文件,方便后续做扩展。

节点权限校验功能优化​

  • 节点的权限校验拆分为连通性和功能权限校验。当点击可用性校验时,节点校验会优先校验节点的连通性,对于用户而言,需要保障节点连接地址填写正确。当连通性校验通过后,会在进行DP所需要功能的可用性校验。会按照读写模式进行拆分,比如读有JDBC和CDC两种模式,写有JDBC和文件写两种,则会分别对权限进行校验。注意权限校验不通过不会影响到节点使用,仅会有部分功能受限,比如对于有的场景而言,不希望系统对目的地表进行结构变化的处理,您可以在创建用户时,不给该用户赋权,这对应的无法通过该用户实现对目的地的表进行结构的修改,从而让业务系统更加安全。
  • 本次修改的节点范围:Oracle,Oceanbase,达梦,ArgoDB,Kafka,Hive

其他优化及缺陷修复​

  1. 丰富了Hive 作为数据源支持时间的Format
  2. 修复了批量完成标识生成失败的问题
  3. 修复了自定义加密,无法创建新用户的问题
  4. 修复了底层定时服务的任务失败导致kafka进度提交失败的问题
  5. 优化了Oracle Agent处理没有事务ID数据回滚操作的效率
  6. 修复了跳板机开启后,导致所有节点校验走跳板机的问题
  7. 修复了跳板机部署方案下, 试运行白屏问题
  8. 修复了TDSQL_mysql分布式协调未完成,但是任务暂停又重启导致任务报错的问题。

​