跳到主要内容
版本:v4.17

2024年版本更新日志

v4.15 版本​

2024-12

功能列表​

支持达梦数据库高可用架构,并支持高可用节点切换​

  • 在DM 数据守护高可用场景中,当主节点发生故导致连通性校验失败时,DataPipeline可以识别并实现自动切换,同时支持手动切换

新增TDSQL-PostgreSQL(Tbase)节点适配​

TDSQL PostgreSQL版(TDSQL for PostgreSQL)是腾讯自主研发的分布式数据库系统。TDSQL PostgreSQL版 集高扩展性、SQL 高兼容度、完整的分布式事务支持、多级容灾及多维度资源隔离等功能于一身,采用无共享的集群架构,提供容灾、备份、恢复、监控、安全、审计等全套解决方案,适用于GB级 - PB级的海量 HTAP 场景。

  • 支持 5.21.x 版本
  • 支持 JDBC读取
  • 支持 JDBC写入

适配 ArgoDB5.2.1 支持外表及API写入​

  • 支持 外表和更加丰富的表存储格式
  • 支持 API 写入

支持实时采集GoldenDB 6.1.02 分布式架构的数据​

GoldenDB从6.1.03版本开始支持CDC,DataPipeline 已完成对GoldenDB CDC的适配。由于GoldenDB 6.1.02及以前的版本无CDC,DataPipeline 通过从每个DN节点读取BINLOG日志的方式实现实时数据采集。

  • 支持 6.1.02及以下版本
  • 支持BINLOG读取

其他优化及缺陷修复​

  • Doris 节点支持https和http接口
  • 基于安恒安全测试的扫描结果,修复了所有的超危漏洞
  • 修复了manager 线程泄露的缺陷
  • 修复了OB配置库下, 配置库初始化异常以及跳板机校验选表失败的缺陷
  • 修复了达梦 logminer 丢数的缺陷
  • 修复了TDSQL binlog 连通性校验错误

v4.14 版本​

2024-11

功能列表​

适配GaussDB 目的地支持​

  • 支持 1.4、2.x、3.x 版本
  • 支持 JDBC写入

新增TDSQL-MySQL主备数据节点切换功能​

TDSQL for MySQL 私有化环境,主备(逻辑复制、物理复制)集群间高可用场景中,当主节点发生故导致连通性校验失败时,DataPipeline可以识别并实现自动切换,同时支持手动切换。

适配 StarRocks 2.5、3.1.x 节点​

  • 支持 StarRocks 2.5、3.1.x 版本
  • 支持 JDBC 读取
  • 支持 Stream Load 写入

新增DataPipeline Oracle Agent 采集代理运维​

增加了激活采集任务、暂停采集任务、重启采集进程、版本升级、版本回退、采集代理参数管理、采集代理运行日志查看功能。

其他优化及缺陷修复​

  • 提升任务运行稳定性,在任务无感知的情况下恢复PolarDB和GoldenDB的僵尸Binlog线程;
  • 提升客户体验,重构导入导出的配置文件修改功能;
  • DDL事件模型重构,对结构变化的发现和处理进行解耦,支持了连续DDL的场景。
  • 修复了任务导入后进来后链路里面没有显示源字段
  • 修复了使用配置替换工具替换后导出的json文件没有格式化
  • 修复了数据源多表多对一聚合到一个目的地表
  • 修复了目的地表主键和索引diff不生效
  • 修复了任务报错连接不了目的地,insert写入报错吞异常
  • 修复了 MaxCompute 需要优雅处理 Session 生命周期
  • 修复了mogdb新建用户无论是否revoke表或库级别的select等权限都不影响节点jdbc连通性校验
  • 修复了tdsql源刷表失败等问题

v4.13 版本​

2024-10

功能列表​

标识延迟反馈配置​

  • MaxCompute作为目的地,增加标识延迟反馈配置,支持批次完成和生成标识中间可以配置等待时间。详情查看

适配 Gbase8c 目的地​

详情查看

  • 支持 Gbase 8c V5_3.0.0
  • 支持 JDBC 写入
  • 支持执行 DDL

其他优化及缺陷修复​

  • 提升任务运行稳定性,在任务无感知的情况下恢复僵尸Binlog线程
  • 优化升级流程,支持从 3.7、4.0、4.5 直接升级到 4.13,免去逐版本升级的步骤
  • 优化了并发分区功能
  • 修复了MongoDB目的地写入时间类型问题
  • 修复了kafka_avro-oceanbase_mysql,目的节点float类型精度不一致
  • 修复了ArgoDB table表配置修改不生效
  • 修复了MaxCompute在没有数据的时候会像服务度发出大量GET请求
  • 修复了写入完成标识失败后,任务有告警,但是没有重试机制。
  • 修复了定时任务并发使用 kafka-consumer 异常
  • 修复了goldendb源Datetime(6)精度丢失
  • 修复了TICDC+内存模式增量进度无法持久化
  • 修复了Hive目的地结构变化,新增字段并同步默认值,目的地新增字段未同步默认值
  • 修复了clickhouse环境连接配置参数未设置
  • 修复了Vastbase-Sqlserver数据任务,bpchar字段映射Varchar,数据任务出现错误队列数据过长错误
  • 修复了Vastbase_Mysql数据库版本bug,创建数据链路,界面提示vastbase_mysql_source: Error: 「Schema」 不存在
  • 修复了Oracle Agent 获取 pdb 信息失败后的自动重启会造成连接泄露
  • 修复了一对多关系,只对其中一个映射配置全量初始化-同步前清空目的地,全部目的地生效的问题
  • 修复了Oracle Agent 当连不上 Kafka 超时后,未重建 producer 并释放锁
  • 修复了替换配置工具时先替换链路的映射情况下导入会报错

v4.12 版本​

2024-09

功能列表​

适配阿里云Iceberg目的地​

功能说明

  • 阿里云Iceberg 1.5.2
  • 支持Iceberg Java Client 写入
  • 支持执行DDL
  • 支持修改加载方式

适配阿里云AnalyticDB for PostgreSQL 数据目的地​

功能说明

  • 版本支持阿里云Analyticdb for PostgreSQL 6.0 ,7.0
  • 支持行存表及列存表
  • 支持执行DDL
  • 支持修改加载方式

适配阿里云Hologres 数据目的地​

功能说明

  • 版本支持阿里云Hologres 2.2版本
  • 支持行存表,列存表,行列共存表
  • 支持执行DDL
  • 支持修改加载方式

适配支持Doris 1.x,2.x做数据源​

功能说明

  • 合并SelectDB及Doris
  • 支持版本1.x,2.x
  • 支持JDBC方式读取数据

适配支持TDSQL 数据源​

功能说明

  • 支持版本 10.3.19.x、10.3.20.x、10.3.21.x、10.3.22.x,
  • 支持分布式部署,集中式部署
  • 支持DDL解析及分布式DDL协调
  • 支持DML解析

配置导入导出功能增强​

功能说明

  • 增强导入后的相关校验
  • 对于数据映射当导入冲突时,增加了新的导入策略,更新。
    • 覆盖:使用新导入的配置
    • 忽略:使用原配置
    • 更新:只更新差异配置

Oceanbase CDC 采集能力增强​

功能说明

  • 新增数据节点高可用
  • 新增采集log reader高可用
  • Oceanbase CDC 新增并发解析

其他优化及缺陷修复:​

  • 修复了Oceanbase 配置库的部分缺陷
  • OB节点添加游标参数
  • Oracle Agent优化了处理回滚时间的效率
  • 修复了PoalrDB 分布式数据库分布式DDL协调问题

v4.11 版本​

2024-08

功能列表​

适配SelectDB 数据源​

功能说明

  • 明细模型,主键模型,聚合模型三种数据模型
  • 版本支持1.2 和2.0 版本
  • 支持JDBC读取

适配阿里云消息队列 RocketMQ 的数据目的地​

功能说明

  • 版本支持阿里云消息队列 RocketMQ 4.x ,5.x 版本
  • 支持四种topic类型, 普通消息,顺序消息,定时/延时消息,事务消息

Kafka 节点 支持Kraft 部署架构​

功能说明

  • kafka 支持Kraft 部署架构

任务选表优化​

功能说明

  • 任务选择映射和选表时,支持筛选,过滤,提升搜索效率

Hive 作为数据源时,增量同步,支持动态步长和固定步长两种方式读取增量​

功能说明

  • 当Hive作为数据源时,支持分区文件读取时,两种增量逻辑。
    • 第一种逻辑是确定读取起点和固定步长,每次可以以该起点和固定窗口,同步固定窗口大小的数据。这种用于上游业务生产分区数据,按照固定时间定期产生的场景
    • 第二种逻辑则是仅设置读取起点,每次可以读取到所有可以读到的增量数据。这种主要应用与业务调度上不是按照固定时间产生数据的场景。

其他优化及缺陷修复:​

  • Doris 和SelectDB 对于非Unique表 的删除 做了性能优化
  • Oceanbase CDC 对于历史版本进行兼容性的适配支持
  • 修复了Polardb 使用rds config 种的密码,未解密问题
  • 修复了升级后,MySQL节点无法获取建表SQL的缺陷
  • 修复了达梦数据库Double 字段类型科学计数法转换问题
  • 修复了达梦数据库默认映射以及字符集的配置问题
  • 修复了Datahub目的地,Decimal 字段类型,做浮点数转换导致数据精度丢失的问题
  • 修复了部署容器时,使用DP用户后,无法创建目录,导致文件系统部分节点无法启动任务
  • 修复了并优化了数据校验连接池管理的业务逻辑
  • 修复了数据链路种,引用系统元数据试运行报错的问题
  • 修复了PostgreSQL 作为数据源时,分区读取,数据不一致的类型,timestamptz 和bytea
  • 修复了Inceptor 多引擎节点批量刷新,选表刷新问题
  • 修复了pg,openGauss 高级清洗功能完成后关闭复制槽的问题
  • 修复了弱口令漏洞

v4.10 版本​

2024-07

功能列表​

适配MogDB 数据源及目的地​

功能说明

  • 版本支持5.0.x
  • 支持逻辑复制和JDBC读取
  • 支持JDBC写入

适配阿里云Analytic for MySQL的数据目的地​

功能说明

  • 版本支持阿里云 Analytic for MySQL 2.x
  • 支持JDBC 写入

适配SelectDB 1.x 和2.x 的数据目的地​

功能说明

  • 支持明细模型,主键模型,聚合模型三种数据模型
  • 支持Streamload 写入和JDBC 写入

OceanBase 数据节点功能增强​

功能说明

  • 当作为目的地时,支持设置逻辑主键

Kafka 自定义格式功能增强​

功能说明

  • 当Kafka 序列化器是String时,支持自定义消息体的格式。当前提供了OGG和Dbz两种模版,也支持自定义消息体格式,当自定义消息体格式时,如果业务上该数据当成Json使用,这里可以定义Json格式,并且进行Json格式的检查,当要求是Json格式时,会根据json的要求对于需要转义的字符,自动进行转义。

其他优化及缺陷修复:​

  • 修复了当并行请求暂停任务接口时,可能有些任务无法暂停的问题
  • 修复了当配置并发写入Maxcompute时,Maxcompute激活任务增量同步时报错的问题
  • 修复了批量激活任务或者校验任务时,未校验产品License的问题
  • 修复了对于任务配置为激活时间为起点的任务,当升级后,在启动时,会丢失部分增量数据的情况
  • 修复了映射数量小于并发数且流量较小时,如果出现进度超时提交,暂停重启任务读取写入进度会被更新的问题。
  • 修复了分映射同步起点,当映射进度不一致,不分选项配置不生效的问题。
  • GaussDB 节点支持Char 字段类型
  • 修复了GaussDB源增量读取后,最新数据产生时间,有时获取不到的问题
  • 修复了因环境问题,导致请求顺序出错造成的任务配置出差的问题。
  • 修复了Dameng数据库,当字段较多的大SQL,Logminer解析会进行拆分,导致生成多条SQL的问题
  • 修复了高级清洗配置下发的问题
  • 优化了Maxcompute节点可行性校验的逻辑

v4.9 版本​

2024-06

功能列表​

适配华为MRS HDFS 数据源及目的地​

继续扩展了华为云的生态,支持了更多的数据节点

功能说明

  • 新增(MRS 3.2.0-LTS.1)-HDFS 3.3.1 版本
  • 支持文件读取和写入

适配华为MRS Hive 数据源及目的地​

继续扩展了华为云的生态,支持了更多的数据节点

功能说明

  • 新增(MRS 3.2.0-LTS.1)-Hive 3.1.0 版本
  • 支持文件读取,文件写入和JDBC 写入

适配Doris 1.x 和2.x 的数据目的地​

支持了Apache 开源项目Doris 作为数据目的地

功能说明

  • 支持明细模型,主键模型,聚合模型三种数据模型
  • 支持Streamload 写入和JDBC 写入

适配Gbase 8a的数据源​

在原有数据目的地的基础上,新增了南大通用 Gbase 8a 作为数据源。

功能说明

  • 支持JDBC 方式读取批量数据

适配PolarDB -X 的数据目的地​

在原有数据源的基础上,新增了阿里云 PolarDB-X 作为目的地。

功能说明

  • 支持JDBC 方式写入

适配Clickhouse 的数据源​

在原有数据目的地的基础上,新增了Clickhouse作为数据源。

功能说明

  • 支持JDBC 方式读取批量数据

其他优化及缺陷修复:​

修复了高可用节点 Oracle,MySQL 连接参数配置及优化的问题

修复了esclient Http I/O dispatcher线程泄漏

修复了目的地为Maxcompute ,清空表策略不生效,任务报错问题

修复了【Postgres】内存模式不回调commit,导致复制槽confirmed_flush_lsn 不推进问题

v4.8 版本 2024-05

功能列表​

适配华为MRS Hudi 数据目的地​

功能背景\ Hudi 作为成熟度较高的数据湖,现在正在被广泛的应用,我们从0.6.0的版本就开始关注,同时也在支持过程中不断地增强了对于该节点应用,使用以及场景的理解。\ 而华为MRS(MapReduce Service),作为国内甚至全球非常成功的企业服务的公司,我们也保持着很好的联系和合作。因此在5月份Release 版本中,DataPipeline 正式完整适配了(MRS 3.2.0-LTS.1)-Hudi 0.11.0 版本。

功能说明

  • 新增(MRS 3.2.0-LTS.1)-Hudi 0.11.0 版本
  • 支持Spark Client 方式写入
  • 灰度下线JDBC Client 方式写入

数据加载方式持续优化,新增Greenplum目的地节点​

功能说明

DataPipeline 作为专业的数据集成中间件厂商,需要不断的加强数据同步过程中各种场景的处理。对于源端主键更新,普通键更新,目的地无主键表等,因此我们从4.5版本开始引入了逻辑主键的概念,并通过在目的地配置逻辑主键的方式,实现更新的处理,以保障业务数据的一致性。在4.7版本中,DataPipeline又支持了Greenplum 目的地节点的逻辑主键功能。目前已经支持的节点包含了TiDB,MySQL,MSSQL Server,PostgreSQL,OpenGauss ,Greenplum。

用户登录功能优化​

功能说明\ 目前DataPipeline的客户,对于管理规范的要求越来越多样。因此在4.7版本中,结合了客户的要求,产品部门做了整理,目前已经支持,首次登录后的密码修改和连续登录失败次数的限制,防止恶意登录。同时也丰富了审计日志的内容。

​

v4.7 版本 2024-04

功能列表​

  • 新增功能:
    • 支持 Gbase 8a 做数据目的地
  • 功能优化:
    • OceanBase 采集代理支持接口查询状态、进度,支持自动重启
    • SQL Server、GaussDB、PostgreSQL 目的地主键或逻辑主键值更新逻辑优化
    • MYSQL 节点支持 SSL 认证

新增功能​

新增功能:支持 Gbase 8a 做数据目的地​

功能背景\ Gbase 8a 是南大通用推出的分布式逻辑数据仓库,GBase 8a 分析型数据库的主要市场是商业分析和商业智能市场。产品自动提供粗粒度智能索引,高效过滤,膨胀小,免维护;集群支持100PB以上结构化裸数据单结点100TB裸数据;支持并行计算,充分利用现代的 SMP 多核 CPU 资源;集群加载速度大于30TB/小时。产品主要应用在政府、党委、安全敏感部门、国防、统计、审计、银监、证监等领域,以及电信、金融、电力等拥有海量业务数据的行业。

主要客户是河北银行和乌鲁木齐银行。

使用场景

  • 4.7 版本新增支持 GBase 8a 9.5.x 版本作为数据目的地使用。
  • 作为目的地支持通过 JDBC 和文件写入方式,将源端的增量和全量数据加载到 Gbase 8a 目的地。

功能说明

  • DataPipeline支持 GBase 8a 9.5.x 作为数据目的地。
  • GBase 8a 作为目的地节点时,对字段类型的支持情况如下:
字段类型是否支持备注
TINYINT支持
SMALLINT支持
INT支持
BIGINT支持
FLOAT支持
DOUBLE支持
DECIMAL支持
NUMERIC支持
CHAR支持
VARCHAR支持
TEXT支持
BLOB支持文件写入不支持
BINARY支持文件写入不支持
VARBINARY支持文件写入不支持
LONGBLOB支持
DATE支持
DATETIME支持
TIME支持
TIMESTAMP支持
  • Gbase 8a 节点支持 DataPipeline 数据目的地的所有通用功能。

功能优化​

  • OceanBase 采集代理支持接口查询状态、进度
  • SQL Server、GaussDB、PostgreSQL 目的地主键或逻辑主键值更新逻辑优化
  • MYSQL 节点支持 SSL 认证

功能优化:OceanBase 采集代理支持接口查询状态、进度,支持自动重启​

  • 采集代理-manager 状态查询接口
  • 采集代理-manager 运行时间接口
  • 采集代理-节点日志解析进度接口
  • 采集代理-详细状态接口

提供以上接口对接客户的监控、运维平台,以便第一时间感知采集代理状态,及时处理问题。

同时,提供了采集代理 Keep Alive 方案,当遇到问题时,采集代理可以自动重启,以当前进度继续采集数据。

功能优化:SQL Server、GaussDB、PostgreSQL 目的地主键或逻辑主键值更新逻辑优化​

当数据源更新数据主键值时,在目的地更新数据不能使用更新后的主键值作为更新条件,更新数据;历史版本中,DataPipeline 对于部分节点的主键值更新处理逻辑不够完善,可能导致数据更新错误;

在 4.7 版本中,我们支持了以更新前(Update Before)的数据值作为更新条件更新数据,同时支持对 Update Before 的数据进行同样的高级清洗与表达式计算,以保证数据更新准确;

v4.6 版本​

2024-03

功能列表​

  • 新增功能:
    • 支持 Paimon 做数据目的地
  • 功能优化:
    • 适配 Gbase 8s 8.8 版本
    • AS400 数据源支持获取更新前数据

新增功能​

新增功能:支持 Paimon 做数据目的地​

功能背景\ Apache Paimon (incubating) 目前属于Apache 软件基金会 (ASF) 的孵化项目,其原项目为由 Flink 官方维护的 Flink Table Store。Apache Paimon 设计为一个开源流数据湖平台,采用开放的数据格式和技术理念,不仅支持Flink SQL编写和本地查询,还可以与其他诸多业界主流计算引擎进行对接。包揽 Streaming 实时计算能力和 LakeHouse 架构优势,统一了存储,具有高速数据摄取,变更日志跟踪和高效的实时分析强大能力。

Apache Paimon 适用于需要在流数据上进行实时查询和分析的场景。它可以帮助用户更容易地构建流式数据湖,实现高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。例如在金融、电子商务、物联网等行业中,可以使用 Apache Paimon 来实现实时推荐、欺诈检测、异常检测等应用。此节点已在四川银行进行测试使用。

使用场景

  • 4.6 版本新增支持 Apache Paimon 0.5.0-incubating 版本作为数据目的地使用。
  • 支持通过 Paimon JAVA Client 将源端的增量和全量数据加载到 Paimon 目的地。

功能说明

  • DataPipeline支持 Apache Paimon 作为数据目的地。
  • Apache Paimon 作为目的地节点时,对字段类型的支持情况如下:
字段类型是否支持
1INTEGER支持
2TINYINT支持
3SMALLINT支持
4BIGINT支持
5DOUBLE支持
6ARRAY不支持
7CHAR支持
8VARCHAR支持
9BOOLEAN支持
10DATE支持
11TIME支持
12TIMESTAMP支持
13TIMESTAMP_WITH_LOCAL_TIME_ZONE支持
14DECIMAL支持
15FLOA支持
16ROW不支持
17BINARY支持
18VARBINARY支持
19MULTISET不支持
  • Apache Paimon 节点不支持导出创建目的地表语句,除此之外支持 DataPipeline 数据目的地的其他通用功能。

功能优化​

  • 适配 Gbase 8s 8.8 版本
    • 支持作为数据源使用,新增支持了 VARCHAR2 字段类型
  • AS400 数据源支持获取更新前数据