版本:v4.18
2025年版本更新日志
v4.18版本
2025-03
功能列表
MySQL系列节点DDL解析器替换
- 更新并替换了新MySQL,TDSQL的DDL解析器
- 对于DDL的支持类型更加丰富,同时对于同构数据库中默认值中包含函数的场景也可以支持同步。
- 对于连续DDL的支持
- DDL的支持详情及约束,请参考两个节点关于DDL读取的部分
电大金仓KingbaseES节点支持
- 支持 KingbaseES V8,V9 版本
- 支持 JDBC 读取
- 支持Decoderbufs wal日志读取
- 支持 JDBC写入
节点的详细支持情况,包括表,视图,索引,字段类型,DML,DDL请参考节点详细资料
Doris 对于加列和修改修的DDL的支持
- 对于非聚合模型和非聚合字段类型,支持新增列和修改列的DDL
Oceanbase Agent 支持4.2.1.10版本Server
其他优化及缺陷修复
- 梳理了自定义参数的场景,更新并维护了手册即文档。同时表达式定义时间格式新增Unix时间戳格式。
- 优化了ASM连接遭遇网络闪断后,支持自动恢复。
- 由于达梦数据库官方的缺陷,修改了DM8数据库的权限要求
- DP配置导入导出增加了对于受控停止任务的支持
- 修复了inceptor hybase表主键获取识别的缺陷
- 修复了rename table 导致任务暂停,只能修改配置表任务才可以继续的缺陷
- 修复了Gbase 8c,GaussDB,MogDB,Vastbase, ssl环境加密前环境升级至加密后版本不可用的缺陷
- 修复了TDSQL使用时间设置起点时,没有将Gtid purged和Gtid executed 做合并导致找不到日志的缺陷
- 修复了GoldenDB 6.1.02 JDBC模式下,无法进行视图同步的缺陷
- 修复了MogDB到MySQL ,interval 字段类型默认映射的缺陷
- 修复了任务修改结构变化策略不生效的缺陷
- 补充完善了系统设置-系统参数默认值-数据链路-策略配置-错误队列策略支持的节点范围
- 修复了达梦错误队列规则没有varchar的缺陷
- 修复了MongoDB last_max 函数的缺陷
- 修复了节点创建阶段,节点配置约束,允许用户进行修改和调整
- 修复了Gbase 8c money字段类型创建表失败的缺陷
- 修复了OSS目的地,完成标识判断错误的缺陷
- 优化了MogDB 到Hive 1.1 Data类型的默认字段映射
- 优化了Ob_oracle到Oracle varchar字段类型的默认映射
- 优化了达梦对于rollback的解析逻辑
v4.17 版本
2025-02
功能列表
DB2 for i (AS/400) 新增Journal 解析方式获取增量
- 新增DB2 for i( AS/400)通过Journal 解析的方式获取增量,进一步增加了对于IBM i 系列 (AS/400)的日志解析的支持,从而摆脱对于CDC 的插件的依赖。
- 补充了 DB2 for i( AS/400)到 Clickhouse,selectdb,starrrocks的默认映射。
受控停止功能
- 新增受控停止功能,可以通过定义规则和条件,实现对于映射层级和任务层级的读写的精准控制,适用于金融领域的日切场景。
- 支持规则的状态控制,支持记录并统计规则被触发和执行的情况。
映射读写控制
- 新增对于映射读写的手动控制,可以根据需要对映射的读写实现精准控制。并且支持无缓存暂停和立即暂停。当选择无缓存暂停时,会将缓存数据都写入到目的地后,在暂停该映射的写入。
其他优化及缺陷修复
- 由于oracle 一张表只允许有一个long类型的字段。因此修改了到Oracle的字段类型的默认映射规则
- 优化了SelectDB/Doris,Inceptor节点连通性校验的逻辑
- 由于VastBase Tinyint的实际字段类型支持无符号和有符号,因此修复了Vastbase Tinyint(INT1)的默认映射
- 修复了Gbase 8a 作为目的地,清空目的地,方式为删除重建时,任务报错的缺陷
- 修复了hashdata 的interval类型的 目的地 varchar 数据太长进入错误队列的问题
- 修复了Oracle 节点处理DDL时,先检查判断表是否存在的问题
- 修复了高级清洗试运行时,manager与数据库建立的连接未被释放的缺陷
- 修复了暂停任务后,connectdp与数据库建立的连接未能释放的缺陷
- 修复了Starrocks 作为目的地,当目的地执行DDL时,等待过程判断状态,Finished 和Cancelled时,均不会卡住任务一直等待。
- 修复了DB2 for i( AS/400)到Oracle / Oceanbase -Oracle /达梦的字段类型默认映射的缺陷
- 修复了3.7版本 达梦数据节点连接参数升级到新版本处理问题
- 修复了当开启debug日志后,connectdp线程会卡住的缺陷
- 更新了Hudi的spark的版本。支持hudi0.10.1
- 修复了ArgoDB作为目的地时,执行update 和delete 的缺陷
- 修复了pg系列的节点(GaussDB/Gbase8c/Vastbase/MogDB)到SQL-Server 的字段类型映射Interval的字段类型映射问题
- 修复了MySQL 指定起点,GTID设置不生效的问题
- 修复了kafka Avro 作为数据源时,新增列结构变化支持的问题
- 修复了预警内容显示重复信息的问题
- 支持了Oracle ASM 密码加密处理的问题
功能下线:
偶数DB数据节点暂停支持
同步终点功能暂停支持
pg作为数据源时,指定起点LSN功能下线
v4.16 版本
2025-01
功能列表
DP部署服务支持密码加密访问
- DP底层服务之间的访问支持加密,并且可以根据需要对于部署文件进行拆分。拆分成ENV和Conf两个文件,方便后续做扩展。
节点权限校验功能优化
- 节点的权限校验拆分为连通性和功能权限校验。当点击可用性校验时,节点校验会优先校验节点的连通性,对于用户而言,需要保障节点连接地址填写正确。当连通性校验通过后,会在进行DP所需要功能的可用性校验。会按照读写模式进行拆分,比如读有JDBC和CDC两种模式,写有JDBC和文件写两种,则会分别对权限进行校验。注意权限校验不通过不会影响到节点使用,仅会有部分功能受限,比如对于有的场景而言,不希望系统对目的地表进行结构变化的处理,您可以在创建用户时,不给该用户赋权,这对应的无法通过该用户实现对目的地的表进行结构的修改,从而让业务系统更加安全。
- 本次修改的节点范围:Oracle,Oceanbase,达梦,ArgoDB,Kafka,Hive
其他优化及缺陷修复
- 丰富了Hive 作为数据源支持时间的Format
- 修复了批量完成标识生成失败的问题
- 修复了自定义加密,无法创建新用户的问题
- 修复了底层定时服务的任务失败导致kafka进度提交失败的问题
- 优化了Oracle Agent处理没有事务ID数据回滚操作的效率
- 修复了跳板机开启后,导致所有节点校验走跳板机的问题
- 修复了跳板机部署方案下, 试运行白屏问题
- 修复了TDSQL_mysql分布式协调未完成,但是任务暂停又重启导致任务报错的问题。