版本:v4.17
2025年版本更新日志
v4.17 版本
2025-02
功能列表
DB2 for i (AS/400) 新增Journal 解析方式获取增量
- 新增DB2 for i( AS/400)通过Journal 解析的方式获取增量,进一步增加了对于IBM i 系列 (AS/400)的日志解析的支持,从而摆脱对于CDC 的插件的依赖。
- 补充了 DB2 for i( AS/400)到 Clickhouse,selectdb,starrrocks的默认映射。
受控停止功能
- 新增受控停止功能,可以通过定义规则和条件,实现对于映射层级和任务层级的读写的精准控制,适用于金融领域的日切场景。
- 支持规则的状态控制,支持记录并统计规则被触发和执行的情况。
映射读写控制
- 新增对于映射读写的手动控制,可以根据需要对映射的读写实现精准控制。并且支持无缓存暂停和立即暂停。当选择无缓存暂停时,会将缓存数据都写入到目的地后,在暂停该映射的写入。
其他优化及缺陷修复
- 由于oracle 一张表只允许有一个long类型的字段。因此修改了到Oracle的字段类型的默认映射规则
- 优化了SelectDB/Doris,Inceptor节点连通性校验的逻辑
- 由于VastBase Tinyint的实际字段类型支持无符号和有符号,因此修复了Vastbase Tinyint(INT1)的默认映射
- 修复了Gbase 8a 作为目的地,清空目的地,方式为删除重建时,任务报错的缺陷
- 修复了hashdata 的interval类型的 目的地 varchar 数据太长进入错误队列的问题
- 修复了Oracle 节点处理DDL时,先检查判断表是否存在的问题
- 修复了高级清洗试运行时,manager与数据库建立的连接未被释放的缺陷
- 修复了暂停任务后,connectdp与数据库建立的连接未能释放的缺陷
- 修复了Starrocks 作为目的地,当目的地执行DDL时,等待过程判断状态,Finished 和Cancelled时,均不会卡住任务一直等待。
- 修复了DB2 for i( AS/400)到Oracle / Oceanbase -Oracle /达梦的字段类型默认映射的缺陷
- 修复了3.7版本 达梦数据节点连接参数升级到新版本处理问题
- 修复了当开启debug日志后,connectdp线程会卡住的缺陷
- 更新了Hudi的spark的版本。支持hudi0.10.1
- 修复了ArgoDB作为目的地时,执行update 和delete 的缺陷
- 修复了pg系列的节点(GaussDB/Gbase8c/Vastbase/MogDB)到SQL-Server 的字段类型映射Interval的字段类型映射问题
- 修复了MySQL 指定起点,GTID设置不生效的问题
- 修复了kafka Avro 作为数据源时,新增列结构变化支持的问题
- 修复了预警内容显示重复信息的问题
- 支持了Oracle ASM 密码加密处理的问题
功能下线:
偶数DB数据节点暂停支持
同步终点功能暂停支持
pg作为数据源时,指定起点LSN功能下线
v4.16 版本
2025-01
功能列表
DP部署服务支持密码加密访问
- DP底层服务之间的访问支持加密,并且可以根据需要对于部署文件进行拆分。拆分成ENV和Conf两个文件,方便后续做扩展。
节点权限校验功能优化
- 节点的权限校验拆分为连通性和功能权限校验。当点击可用性校验时,节点校验会优先校验节点的连通性,对于用户而言,需要保障节点连接地址填写正确。当连通性校验通过后,会在进行DP所需要功能的可用性校验。会按照读写模式进行拆分,比如读有JDBC和CDC两种模式,写有JDBC和文件写两种,则会分别对权限进行校验。注意权限校验不通过不会影响到节点使用,仅会有部分功能受限,比如对于有的场景而言,不希望系统对目的地表进行结构变化的处理,您可以在创建用户时,不给该用户赋权,这对应的无法通过该用户实现对目的地的表进行结构的修改,从而让业务系统更加安全。
- 本次修改的节点范围:Oracle,Oceanbase,达梦,ArgoDB,Kafka,Hive
其他优化及缺陷修复
- 丰富了Hive 作为数据源支持时间的Format
- 修复了批量完成标识生成失败的问题
- 修复了自定义加密,无法创建新用户的问题
- 修复了底层定时服务的任务失败导致kafka进度提交失败的问题
- 优化了Oracle Agent处理没有事务ID数据回滚操作的效率
- 修复了跳板机开启后,导致所有节点校验走跳板机的问题
- 修复了跳板机部署方案下, 试运行白屏问题
- 修复了TDSQL_mysql分布式协调未完成,但是任务暂停又重启导致任务报错的问题。