跳到主要内容
版本:v4.19

2025年版本更新日志

v4.19版本​

2025-04

功能列表​

Oracle节点支持非ASM存储架构的远程采集​

  • 通过部署RFA(Remote File Accessor),实现对于非ASM架构的高效远程日志采集
  • RFA自身是无状态的,所有的状态信息均维护在现有的agent上。

详细内容:部署安装,配置请参考oracle-agent 手册

南大通用Gbase 8s 节点支持备库采集​

  • 支持了从备库直接基于裸日志进行的日志解析。

南大通用自身提供了基于API的日志解析方式,但是该API目前仅支持主库的采集和解析,对于部分业务系统,仅开放备库系统,因此原有的API的日志解析方式,在部分系统中将无法使用,本次需求,通过部分Gbase 8s 的agent 实现对于备库的日志解析。

数据校验节点支持扩展,以下节点新增数据量及数据内容差异校验​

  • 扩展支持了Oceanbase(MySQL租户类型,Oracle租户类型)
  • 扩展支持了Gbase 8s
  • 扩展支持了ArogDB
  • 扩展支持了GaussDB

达梦节点DSC架构多实例解析​

  • 配合达梦DSC及DM架构,支持达梦高可用架构的数据解析。特别是对于DSC架构下,多实例的解析。

PostgreSQL 节点日志解析性能提升​

  • 通过采用pgoutput方式,提升PostgreSQL日志解析性能

其他优化及缺陷修复​

  1. Oracle agent 优化redo record 排序及处理逻辑
  2. 优化并提升了达梦 logminer采集速率
  3. 登录登出场景的日志信息完善,补充了超时登出和异地登录挤掉原登录账号的日志记录。使得登录登出日志信息闭环
  4. 优化了kafka作为目的地时,高级清洗里如果return null,导致进度无法提交,从而出现写入淤积的情况。
  5. 修复了Inceptor作为目的地,全增量衔接报错的问题
  6. 修复了内存模式下,PG系列的节点,由于复制槽不提交LSN,导致事务日志不回收的问题。以及如果数据任务中的表无增量交易,复制槽不提交LSN,导致事务日志不回收的问题
  7. 优化了数据校验模块里,对于不支持的节点展示的问题,未来该部分节点相关的任务和映射将不再展示
  8. 升级了Spring boot 到3.4.4 , tomcat 版本升级到10.1.39
  9. 修复了Oceanbase 作为配置库时,相同的数据映射,但是在不同任务中分别执行,可能导致的schema不一致引发的结构变化等问题
  10. 优化了简单列计算对于字段的识别机制
  11. 修复创建索引时,索引的排序未展示,无法配置的问题
  12. 修复了旧运行时迁移新运行时,进度迁移失败的问题
  13. 修复了hive,argodb,inceptor节点kerberos认证 票据过期问题
  14. 修复了TiDB空表增量任务任务暂停后再插入增量,增量数据不识别的问题
  15. 修复了Oracle-Number解析时,若无标度,则默认值为0,而非Null。
  16. 修复了MySQL作为数据源时,连续DDL的处理问题
  17. 修复了Starrocks 作为目的地时,采用streamload的方式写入时,写入中文字段报错的缺陷
  18. 修复了Gbase 8c 和GaussDB 作为目的地时,二进制数据如果是null时,写入报错的问题
  19. 修复了在新运行时下,数据校验任务状态展示异常的问题
  20. 修复了未同步的字段发生结构变化导致任务暂停的问题
  21. 修复了Starrocks 2.x版本,如果有外表,获取表失败的问题

v4.18版本​

2025-03

功能列表​

MySQL系列节点DDL解析器替换​

  • 更新并替换了新MySQL,TDSQL的DDL解析器
  • 对于DDL的支持类型更加丰富,同时对于同构数据库中默认值中包含函数的场景也可以支持同步。
  • 对于连续DDL的支持
  • DDL的支持详情及约束,请参考两个节点关于DDL读取的部分

电大金仓KingbaseES节点支持​

  • 支持 KingbaseES V8,V9 版本
  • 支持 JDBC 读取
  • 支持Decoderbufs wal日志读取
  • 支持 JDBC写入

节点的详细支持情况,包括表,视图,索引,字段类型,DML,DDL请参考节点详细资料

Doris 对于加列和修改修的DDL的支持​

  • 对于非聚合模型和非聚合字段类型,支持新增列和修改列的DDL

Oceanbase Agent 支持4.2.1.10版本Server​

其他优化及缺陷修复​

  1. 梳理了自定义参数的场景,更新并维护了手册即文档。同时表达式定义时间格式新增Unix时间戳格式。
  2. 优化了ASM连接遭遇网络闪断后,支持自动恢复。
  3. 由于达梦数据库官方的缺陷,修改了DM8数据库的权限要求
  4. DP配置导入导出增加了对于受控停止任务的支持
  5. 修复了inceptor hybase表主键获取识别的缺陷
  6. 修复了rename table 导致任务暂停,只能修改配置表任务才可以继续的缺陷
  7. 修复了Gbase 8c,GaussDB,MogDB,Vastbase, ssl环境加密前环境升级至加密后版本不可用的缺陷
  8. 修复了TDSQL使用时间设置起点时,没有将Gtid purged和Gtid executed 做合并导致找不到日志的缺陷
  9. 修复了GoldenDB 6.1.02 JDBC模式下,无法进行视图同步的缺陷
  10. 修复了MogDB到MySQL ,interval 字段类型默认映射的缺陷
  11. 修复了任务修改结构变化策略不生效的缺陷
  12. 补充完善了系统设置-系统参数默认值-数据链路-策略配置-错误队列策略支持的节点范围
  13. 修复了达梦错误队列规则没有varchar的缺陷
  14. 修复了MongoDB last_max 函数的缺陷
  15. 修复了节点创建阶段,节点配置约束,允许用户进行修改和调整
  16. 修复了Gbase 8c money字段类型创建表失败的缺陷
  17. 修复了OSS目的地,完成标识判断错误的缺陷
  18. 优化了MogDB 到Hive 1.1 Data类型的默认字段映射
  19. 优化了Ob_oracle到Oracle varchar字段类型的默认映射
  20. 优化了达梦对于rollback的解析逻辑

v4.17 版本​

2025-02

功能列表​

DB2 for i (AS/400) 新增Journal 解析方式获取增量​

  • 新增DB2 for i( AS/400)通过Journal 解析的方式获取增量,进一步增加了对于IBM i 系列 (AS/400)的日志解析的支持,从而摆脱对于CDC 的插件的依赖。
  • 补充了 DB2 for i( AS/400)到 Clickhouse,selectdb,starrrocks的默认映射。

受控停止功能​

  • 新增受控停止功能,可以通过定义规则和条件,实现对于映射层级和任务层级的读写的精准控制,适用于金融领域的日切场景。
  • 支持规则的状态控制,支持记录并统计规则被触发和执行的情况。

映射读写控制​

  • 新增对于映射读写的手动控制,可以根据需要对映射的读写实现精准控制。并且支持无缓存暂停和立即暂停。当选择无缓存暂停时,会将缓存数据都写入到目的地后,在暂停该映射的写入。

其他优化及缺陷修复​

  1. 由于oracle 一张表只允许有一个long类型的字段。因此修改了到Oracle的字段类型的默认映射规则
  2. 优化了SelectDB/Doris,Inceptor节点连通性校验的逻辑
  3. 由于VastBase Tinyint的实际字段类型支持无符号和有符号,因此修复了Vastbase Tinyint(INT1)的默认映射
  4. 修复了Gbase 8a 作为目的地,清空目的地,方式为删除重建时,任务报错的缺陷
  5. 修复了hashdata 的interval类型的 目的地 varchar 数据太长进入错误队列的问题
  6. 修复了Oracle 节点处理DDL时,先检查判断表是否存在的问题
  7. 修复了高级清洗试运行时,manager与数据库建立的连接未被释放的缺陷
  8. 修复了暂停任务后,connectdp与数据库建立的连接未能释放的缺陷
  9. 修复了Starrocks 作为目的地,当目的地执行DDL时,等待过程判断状态,Finished 和Cancelled时,均不会卡住任务一直等待。
  10. 修复了DB2 for i( AS/400)到Oracle / Oceanbase -Oracle /达梦的字段类型默认映射的缺陷
  11. 修复了3.7版本 达梦数据节点连接参数升级到新版本处理问题
  12. 修复了当开启debug日志后,connectdp线程会卡住的缺陷
  13. 更新了Hudi的spark的版本。支持hudi0.10.1
  14. 修复了ArgoDB作为目的地时,执行update 和delete 的缺陷
  15. 修复了pg系列的节点(GaussDB/Gbase8c/Vastbase/MogDB)到SQL-Server 的字段类型映射Interval的字段类型映射问题
  16. 修复了MySQL 指定起点,GTID设置不生效的问题
  17. 修复了kafka Avro 作为数据源时,新增列结构变化支持的问题
  18. 修复了预警内容显示重复信息的问题
  19. 支持了Oracle ASM 密码加密处理的问题

功能下线:​

偶数DB数据节点暂停支持

同步终点功能暂停支持

pg作为数据源时,指定起点LSN功能下线

v4.16 版本​

2025-01

功能列表​

DP部署服务支持密码加密访问​

  • DP底层服务之间的访问支持加密,并且可以根据需要对于部署文件进行拆分。拆分成ENV和Conf两个文件,方便后续做扩展。

节点权限校验功能优化​

  • 节点的权限校验拆分为连通性和功能权限校验。当点击可用性校验时,节点校验会优先校验节点的连通性,对于用户而言,需要保障节点连接地址填写正确。当连通性校验通过后,会在进行DP所需要功能的可用性校验。会按照读写模式进行拆分,比如读有JDBC和CDC两种模式,写有JDBC和文件写两种,则会分别对权限进行校验。注意权限校验不通过不会影响到节点使用,仅会有部分功能受限,比如对于有的场景而言,不希望系统对目的地表进行结构变化的处理,您可以在创建用户时,不给该用户赋权,这对应的无法通过该用户实现对目的地的表进行结构的修改,从而让业务系统更加安全。
  • 本次修改的节点范围:Oracle,Oceanbase,达梦,ArgoDB,Kafka,Hive

其他优化及缺陷修复​

  1. 丰富了Hive 作为数据源支持时间的Format
  2. 修复了批量完成标识生成失败的问题
  3. 修复了自定义加密,无法创建新用户的问题
  4. 修复了底层定时服务的任务失败导致kafka进度提交失败的问题
  5. 优化了Oracle Agent处理没有事务ID数据回滚操作的效率
  6. 修复了跳板机开启后,导致所有节点校验走跳板机的问题
  7. 修复了跳板机部署方案下, 试运行白屏问题
  8. 修复了TDSQL_mysql分布式协调未完成,但是任务暂停又重启导致任务报错的问题。

​

​