2024年版本更新日志
v4.13 版本
2024-10
功能列表
标识延迟反馈配置
- MaxCompute作为目的地,增加标识延迟反馈配置,支持批次完成和生成标识中间可以配置等待时间。详情查看
适配 Gbase8c 目的地
- 支持 Gbase 8c V5_3.0.0
- 支持 JDBC 写入
- 支持执行 DDL
其他优化及缺陷修复
- 提升任务运行稳定性,在任务无感知的情况下恢复僵尸Binlog线程
- 优化升级流程,支持从 3.7、4.0、4.5 直接升级到 4.13,免去逐版本升级的步骤
- 优化了并发分区功能
- 修复了MongoDB目的地写入时间类型问题
- 修复了kafka_avro-oceanbase_mysql,目的节点float类型精度不一致
- 修复了ArgoDB table表配置修改不生效
- 修复了MaxCompute在没有数据的时候会像服务度发出大量GET请求
- 修复了写入完成标识失败后,任务有告警,但是没有重试机制。
- 修复了定时任务并发使用 kafka-consumer 异常
- 修复了goldendb源Datetime(6)精度丢失
- 修复了TICDC+内存模式增量进度无法持久化
- 修复了Hive目的地结构变化,新增字段并同步默认值,目的地新增字段未同步默认值
- 修复了clickhouse环境连接配置参数未设置
- 修复了Vastbase-Sqlserver数据任务,bpchar字段映射Varchar,数据任务出现错误队列数据过长错误
- 修复了Vastbase_Mysql数据库版本bug,创建数据链路,界面提示vastbase_mysql_source: Error: 「Schema」 不存在
- 修复了Oracle Agent 获取 pdb 信息失败后的自动重启会造成连接泄露
- 修复了一对多关系,只对其中一个映射配置全量初始化-同步前清空目的地,全部目的地生效的问题
- 修复了Oracle Agent 当连不上 Kafka 超时后,未重建 producer 并释放锁
- 修复了替换配置工具时先替换链路的映射情况下导入会报错
v4.12 版本
2024-09
功能列表
适配阿里云Iceberg目的地
功能说明
- 阿里云Iceberg 1.5.2
- 支持Iceberg Java Client 写入
- 支持执行DDL
- 支持修改加载方式
适配阿里云AnalyticDB for PostgreSQL 数据目的地
功能说明
- 版本支持阿里云Analyticdb for PostgreSQL 6.0 ,7.0
- 支持行存表及列存表
- 支持执行DDL
- 支持修改加载方式
适配阿里云Hologres 数据目的地
功能说明
- 版本支持阿里云Hologres 2.2版本
- 支持行存表,列存表,行列共存表
- 支持执行DDL
- 支持修改加载方式
适配支持Doris 1.x,2.x做数据源
功能说明
- 合并SelectDB及Doris
- 支持版本1.x,2.x
- 支持JDBC方式读取数据
适配支持TDSQL 数据源
功能说明
- 支持版本 10.3.19.x、10.3.20.x、10.3.21.x、10.3.22.x,
- 支持分布式部署,集中式部署
- 支持DDL解析及分布式DDL协调
- 支持DML解析
配置导入导出功能增强
功能说明
- 增强导入后的相关校验
- 对于数据映射当导入冲突时,增加了新的导入策略,更新。
- 覆盖:使用新导入的配置
- 忽略:使用原配置
- 更新:只更新差异配置
Oceanbase CDC 采集能力增强
功能说明
- 新增数据节点高可用
- 新增采集log reader高可用
- Oceanbase CDC 新增并发解析
其他优化及缺陷修复:
- 修复了Oceanbase 配置库的部分缺陷
- OB节点添加游标参数
- Oracle Agent优化了处理回滚时间的效率
- 修复了PoalrDB 分布式数据库分布式DDL协调问题
v4.11 版本
2024-08
功能列表
适配SelectDB 数据源
功能说明
- 明细模型,主键模型,聚合模型三种数据模型
- 版本支持1.2 和2.0 版本
- 支持JDBC读取
适配阿里云消息队列 RocketMQ 的数据目的地
功能说明
- 版本支持阿里云消息队列 RocketMQ 4.x ,5.x 版本
- 支持四种topic类型, 普通消息,顺序消息,定时/延时消息,事务消息
Kafka 节点 支持Kraft 部署架构
功能说明
- kafka 支持Kraft 部署架构
任务选表优化
功能说明
- 任务选择映射和选表时,支持筛选,过滤,提升搜索效率
Hive 作为数据源时,增量同步,支持动态步长和固定步长两种方式读取增量
功能说明
- 当Hive作为数据源时,支持分区文件读取时,两种增量逻辑。
- 第一种逻辑是确定读取起点和固定步长,每次可以以该起点和固定窗口,同步固定窗口大小的数据。这种用于上游业务生产分区数据,按照固定时间定期产生的场景
- 第二种逻辑则是仅设置读取起点,每次可以读取到所有可以读到的增量数据。这种主要应用与业务调度上不是按照固定时间产生数据的场景。
其他优化及缺陷修复:
- Doris 和SelectDB 对于非Unique表 的删除 做了性能优化
- Oceanbase CDC 对于历史版本进行兼容性的适配支持
- 修复了Polardb 使用rds config 种的密码,未解密问题
- 修复了升级后,MySQL节点无法获取建表SQL的缺陷
- 修复了达梦数据库Double 字段类型科学计数法转换问题
- 修复了达梦数据库默认映射以及字符集的配置问题
- 修复了Datahub目的地,Decimal 字段类型,做浮点数转换导致数据精度丢失的问题
- 修复了部署容器时,使用DP用户后,无法创建目录,导致文件系统部分节点无法启动任务
- 修复了并优化了数据校验连接池管理的业务逻辑
- 修复了数据链路种,引用系统元数据试运行报错的问题
- 修复了PostgreSQL 作为数据源时,分区读取,数据不一致的类型,timestamptz 和bytea
- 修复了Inceptor 多引擎节点批量刷新,选表刷新问题
- 修复了pg,openGauss 高级清洗功能完成后关闭复制槽的问题
- 修复了弱口令漏洞
v4.10 版本
2024-07
功能列表
适配MogDB 数据源及目的地
功能说明
- 版本支持5.0.x
- 支持逻辑复制和JDBC读取
- 支持JDBC写入
适配阿里云Analytic for MySQL的数据目的地
功能说明
- 版本支持阿里云 Analytic for MySQL 2.x
- 支持JDBC 写入
适配SelectDB 1.x 和2.x 的数据目的地
功能说明
- 支持明细模型,主键模型,聚合模型三种数据模型
- 支持Streamload 写入和JDBC 写入
OceanBase 数据节点功能增强
功能说明
- 当作为目的地时,支持设置逻辑主键
Kafka 自定义格式功能增强
功能说明
- 当Kafka 序列化器是String时,支持自定义消息体的格式。当前提供了OGG和Dbz两种模版,也支持自定义消息体格式,当自定义消息体格式时,如果业务上该数据当成Json使用,这里可以定义Json格式,并且进行Json格式的检查,当要求是Json格式时,会根据json的要求对于需要转义的字符,自动进行转义。
其他优化及缺陷修复:
- 修复了当并行请求暂停任务接口时,可能有些任务无法暂停的问题
- 修复了当配置并发写入Maxcompute时,Maxcompute激活任务增量同步时报错的问题
- 修复了批量激活任务或者校验任务时,未校验产品License的问题
- 修复了对于任务配置为激活时间为起点的任务,当升级后,在启动时,会丢失部分增量数据的情况
- 修复了映射数量小于并发数且流量较小时,如果出现进度超时提交,暂停重启任务读取写入进度会被更新的问题。
- 修复了分映射同步起点,当映射进度不一致,不分选项配置不生效的问题。
- GaussDB 节点支持Char 字段类型
- 修复了GaussDB源增量读取后,最新数据产生时间,有时获取不到的问题
- 修复了因环境问题,导致请求顺序出错造成的任务配置出差的问题。
- 修复了Dameng数据库,当字段较多的大SQL,Logminer解析会进行拆分,导致生成多条SQL的问题
- 修复了高级清洗配置下发的问题
- 优化了Maxcompute节点可行性校验的逻辑
v4.9 版本
2024-06
功能列表
适配华为MRS HDFS 数据源及目的地
继续扩展了华为云的生态,支持了更多的数据节点
功能说明
- 新增(MRS 3.2.0-LTS.1)-HDFS 3.3.1 版本
- 支持文件读取和写入
适配华为MRS Hive 数据源及目的地
继续扩展了华为云的生态,支持了更多的数据节点
功能说明
- 新增(MRS 3.2.0-LTS.1)-Hive 3.1.0 版本
- 支持文件读取,文件写入和JDBC 写入
适配Doris 1.x 和2.x 的数据目的地
支持了Apache 开源项目Doris 作为数据目的地
功能说明
- 支持明细模型,主键模型,聚合模型三种数据模型
- 支持Streamload 写入和JDBC 写入
适配Gbase 8a的数据源
在原有数据目的地的基础上,新增了南大通用 Gbase 8a 作为数据源。
功能说明
- 支持JDBC 方式读取批量数据
适配PolarDB -X 的数据目的地
在原有数据源的基础上,新增了阿里云 PolarDB-X 作为目的地。
功能说明
- 支持JDBC 方式写入
适配Clickhouse 的数据源
在原有数据目的地的基础上,新增了Clickhouse作为数据源。
功能说明
- 支持JDBC 方式读取批量数据
其他优化及缺陷修复:
修复了高可用节点 Oracle,MySQL 连接参数配置及优化的问题
修复了esclient Http I/O dispatcher线程泄漏
修复了目的地为Maxcompute ,清空表策略不生效,任务报错问题
修复了【Postgres】内存模式不回调commit,导致复制槽confirmed_flush_lsn 不推进问题
v4.8 版本
2024-05
功能列表
适配华为MRS Hudi 数据目的地
功能背景\ Hudi 作为成熟度较高的数据湖,现在正在被广泛的应用,我们从0.6.0的版本就开始关注,同时也在支持过程中不断地增强了对于该节点应用,使用以及场景的理解。\ 而华为MRS(MapReduce Service),作为国内甚至全球非常成功的企业服务的公司,我们也保持着很好的联系和合作。因此在5月份Release 版本中,DataPipeline 正式完整适配了(MRS 3.2.0-LTS.1)-Hudi 0.11.0 版本。
功能说明
- 新增(MRS 3.2.0-LTS.1)-Hudi 0.11.0 版本
- 支持Spark Client 方式写入
- 灰度下线JDBC Client 方式写入
数据加载方式持续优化,新增Greenplum目的地节点
功能说明
DataPipeline 作为专业的数据集成中间件厂商,需要不断的加强数据同步过程中各种场景的处理。对于源端主键更新,普通键更新,目的地无主键表等,因此我们从4.5版本开始引入了逻辑主键的概念,并通过在目的地配置逻辑主键的方式,实现更新的处理,以保障业务数据的一致性。在4.7版本中,DataPipeline又支持了Greenplum 目的地节点的逻辑主键功能。目前已经支持的节点包含了TiDB,MySQL,MSSQL Server,PostgreSQL,OpenGauss ,Greenplum。
用户登录功能优化
功能说明\ 目前DataPipeline的客户,对于管理规范的要求越来越多样。因此在4.7版本中,结合了客户的要求,产品部门做了整理,目前已经支持,首次登录后的密码修改和连续登录失败次数的限制,防止恶意登录。同时也丰富了审计日志的内容。
v4.7 版本
2024-04
功能列表
- 新增功能:
- 支持 Gbase 8a 做数据目的地
- 功能优化:
- OceanBase 采集代理支持接口查询状态、进度,支持自动重启
- SQL Server、GaussDB、PostgreSQL 目的地主键或逻辑主键值更新逻辑优化
- MYSQL 节点支持 SSL 认证
新增功能
新增功能:支持 Gbase 8a 做数据目的地
功能背景\ Gbase 8a 是南大通用推出的分布式逻辑数据仓库,GBase 8a 分析型数据库的主要市场是商业分析和商业智能市场。产品自动提供粗粒度智能索引,高效过滤,膨胀小,免维护;集群支持100PB以上结构化裸数据单结点100TB裸数据;支持并行计算,充分利用现代的 SMP 多核 CPU 资源;集群加载速度大于30TB/小时。产品主要应用在政府、党委、安全敏感部门、国防、统计、审计、银监、证监等领域,以及电信、金融、电力等拥有海量业务数据的行业。
主要客户是河北银行和乌鲁木齐银行。
使用场景
- 4.7 版本新增支持 GBase 8a 9.5.x 版本作为数据目的地使用。
- 作为目的地支持通过 JDBC 和文件写入方式,将源端的增量和全量数据加载到 Gbase 8a 目的地。
功能说明
- DataPipeline支持 GBase 8a 9.5.x 作为数据目的地。
- GBase 8a 作为目的地节点时,对字段类型的支持情况如下:
| 字段类型 | 是否支持 | 备注 |
|---|---|---|
| TINYINT | 支持 | |
| SMALLINT | 支持 | |
| INT | 支持 | |
| BIGINT | 支持 | |
| FLOAT | 支持 | |
| DOUBLE | 支持 | |
| DECIMAL | 支持 | |
| NUMERIC | 支持 | |
| CHAR | 支持 | |
| VARCHAR | 支持 | |
| TEXT | 支持 | |
| BLOB | 支持 | 文件写入不支持 |
| BINARY | 支持 | 文件写入不支持 |
| VARBINARY | 支持 | 文件写入不支持 |
| LONGBLOB | 支持 | |
| DATE | 支持 | |
| DATETIME | 支持 | |
| TIME | 支持 | |
| TIMESTAMP | 支持 |
- Gbase 8a 节点支持 DataPipeline 数据目的地的所有通用功能。
功能优化
- OceanBase 采集代理支持接口查询状态、进度
- SQL Server、GaussDB、PostgreSQL 目的地主键或逻辑主键值更新逻辑优化
- MYSQL 节点支持 SSL 认证
功能优化:OceanBase 采集代理支持接口查询状态、进度,支持自动重启
- 采集代理-manager 状态查询接口
- 采集代理-manager 运行时间接口
- 采集代理-节点日志解析进度接口
- 采集代理-详细状态接口
提供以上接口对接客户的监控、运维平台,以便第一时间感知采集代理状态,及时处理问题。
同时,提供了采集代理 Keep Alive 方案,当遇到问题时,采集代理可以自动重启,以当前进度继续采集数据。
功能优化:SQL Server、GaussDB、PostgreSQL 目的地主键或逻辑主键值更新逻辑优化
当数据源更新数据主键值时,在目的地更新数据不能使用更新后的主键值作为更新条件,更新数据;历史版本中,DataPipeline 对于部分节点的主键值更新处理逻辑不够完善,可能导致数据更新错误;
在 4.7 版本中,我们支持了以更新前(Update Before)的数据值作为更新条件更新数据,同时支持对 Update Before 的数据进行同样的高级清洗与表达式计算,以保证数据更新准确;
v4.6 版本
2024-03
功能列表
- 新增功能:
- 支持 Paimon 做数据目的地
- 功能优化:
- 适配 Gbase 8s 8.8 版本
- AS400 数据源支持获取更新前数据
新增功能
新增功能:支持 Paimon 做数据目的地
功能背景\ Apache Paimon (incubating) 目前属于Apache 软件基金会 (ASF) 的孵化项目,其原项目为由 Flink 官方维护的 Flink Table Store。Apache Paimon 设计为一个开源流数据湖平台,采用开放的数据格式和技术理念,不仅支持Flink SQL编写和本地查询,还可以与其他诸多业界主流计算引擎进行对接。包揽 Streaming 实时计算能力和 LakeHouse 架构优势,统一了存储,具有高速数据摄取,变更日志跟踪和高效的实时分析强大能力。
Apache Paimon 适用于需要在流数据上进行实时查询和分析的场景。它可以帮助用户更容易地构建流式数据湖,实现高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。例如在金融、电子商务、物联网等行业中,可以使用 Apache Paimon 来实现实时推荐、欺诈检测、异常检测等应用。此节点已在四川银行进行测试使用。
使用场景
- 4.6 版本新增支持 Apache Paimon 0.5.0-incubating 版本作为数据目的地使用。
- 支持通过 Paimon JAVA Client 将源端的增量和全量数据加载到 Paimon 目的地。
功能说明
- DataPipeline支持 Apache Paimon 作为数据目的地。
- Apache Paimon 作为目的地节点时,对字段类型的支持情况如下:
| 字段类型 | 是否支持 | |
|---|---|---|
| 1 | INTEGER | 支持 |
| 2 | TINYINT | 支持 |
| 3 | SMALLINT | 支持 |
| 4 | BIGINT | 支持 |
| 5 | DOUBLE | 支持 |
| 6 | ARRAY | 不支持 |
| 7 | CHAR | 支持 |
| 8 | VARCHAR | 支持 |
| 9 | BOOLEAN | 支持 |
| 10 | DATE | 支持 |
| 11 | TIME | 支持 |
| 12 | TIMESTAMP | 支持 |
| 13 | TIMESTAMP_WITH_LOCAL_TIME_ZONE | 支持 |
| 14 | DECIMAL | 支持 |
| 15 | FLOA | 支持 |
| 16 | ROW | 不支持 |
| 17 | BINARY | 支持 |
| 18 | VARBINARY | 支持 |
| 19 | MULTISET | 不支持 |
- Apache Paimon 节点不支持导出创建目的地表语句,除此之外支持 DataPipeline 数据目的地的其他通用功能。
功能优化
- 适配 Gbase 8s 8.8 版本
- 支持作为数据源使用,新增支持了 VARCHAR2 字段类型
- AS400 数据源支持获取更新前数据