版本:v4.11
V4.11 版本更新日志
功能列表
适配SelectDB 数据源
功能说明
- 明细模型,主键模型,聚合模型三种数据模型
- 版本支持1.2 和2.0 版本
- 支持JDBC读取
适配阿里云消息队列 RocketMQ 的数据目的地
功能说明
- 版本支持阿里云消息队列 RocketMQ 4.x ,5.x 版本
- 支持四种topic类型, 普通消息,顺序消息,定时/延时消息,事务消息
Kafka 节点 支持Kraft 部署架构
功能说明
- kafka 支持Kraft 部署架构
任务选表优化
功能说明
Hive 作为数据源时,增量同步,支持动态步长和固定步长两种方式读取增量
功能说明
- 当Hive作为数据源时,支持分区文件读取时,两种增量逻辑。
- 第一种逻辑是确定读取起点和固定步长,每次可以以该起点和固定窗口,同步固定窗口大小的数据。这种用于上游业务生产分区数据,按照固定时间定期产生的场景
- 第二种逻辑则是仅设置读取起点,每次可以读取到所有可以读到的增量数据。这种主要应用与业务调度上不是按照固定时间产生数据的场景。
其他优化及缺陷修复:
- Doris 和SelectDB 对于非Unique表 的删除 做了性能优化
- Oceanbase CDC 对于历史版本进行兼容性的适配支持
- 修复了Polardb 使用rds config 种的密码,未解密问题
- 修复了升级后,MySQL节点无法获取建表SQL的缺陷
- 修复了达梦数据库Double 字段类型科学计数法转换问题
- 修复了达梦数据库默认映射以及字符集的配置问题
- 修复了Datahub目的地,Decimal 字段类型,做浮点数转换导致数据精度丢失的问题
- 修复了部署容器时,使用DP用户后,无法创建目录,导致文件系统部分节点无法启动任务
- 修复了并优化了数据校验连接池管理的业务逻辑
- 修复了数据链路种,引用系统元数据试运行报错的问题
- 修复了PostgreSQL 作为数据源时,分区读取,数据不一致的类型,timestamptz 和bytea
- 修复了Inceptor 多引擎节点批量刷新,选表刷新问题
- 修复了pg,openGauss 高级清洗功能完成后关闭复制槽的问题
- 修复了弱口令漏洞