跳到主要内容
版本:v4.12

V4.11 版本更新日志

2024-08

功能列表​

适配SelectDB 数据源​

功能说明

  • 明细模型,主键模型,聚合模型三种数据模型
  • 版本支持1.2 和2.0 版本
  • 支持JDBC读取

适配阿里云消息队列 RocketMQ 的数据目的地​

功能说明

  • 版本支持阿里云消息队列 RocketMQ 4.x ,5.x 版本
  • 支持四种topic类型, 普通消息,顺序消息,定时/延时消息,事务消息

Kafka 节点 支持Kraft 部署架构​

功能说明

  • kafka 支持Kraft 部署架构

任务选表优化​

功能说明

  • 任务选择映射和选表时,支持筛选,过滤,提升搜索效率

Hive 作为数据源时,增量同步,支持动态步长和固定步长两种方式读取增量​

功能说明

  • 当Hive作为数据源时,支持分区文件读取时,两种增量逻辑。
    • 第一种逻辑是确定读取起点和固定步长,每次可以以该起点和固定窗口,同步固定窗口大小的数据。这种用于上游业务生产分区数据,按照固定时间定期产生的场景
    • 第二种逻辑则是仅设置读取起点,每次可以读取到所有可以读到的增量数据。这种主要应用与业务调度上不是按照固定时间产生数据的场景。

其他优化及缺陷修复:​

  • Doris 和SelectDB 对于非Unique表 的删除 做了性能优化
  • Oceanbase CDC 对于历史版本进行兼容性的适配支持
  • 修复了Polardb 使用rds config 种的密码,未解密问题
  • 修复了升级后,MySQL节点无法获取建表SQL的缺陷
  • 修复了达梦数据库Double 字段类型科学计数法转换问题
  • 修复了达梦数据库默认映射以及字符集的配置问题
  • 修复了Datahub目的地,Decimal 字段类型,做浮点数转换导致数据精度丢失的问题
  • 修复了部署容器时,使用DP用户后,无法创建目录,导致文件系统部分节点无法启动任务
  • 修复了并优化了数据校验连接池管理的业务逻辑
  • 修复了数据链路种,引用系统元数据试运行报错的问题
  • 修复了PostgreSQL 作为数据源时,分区读取,数据不一致的类型,timestamptz 和bytea
  • 修复了Inceptor 多引擎节点批量刷新,选表刷新问题
  • 修复了pg,openGauss 高级清洗功能完成后关闭复制槽的问题
  • 修复了弱口令漏洞