版本:v4.8
V4.4 版本更新日志
2023-11
功能列表
- 支持采集DB2、OceanBase 数据源节点的更新前数据
- Kafka数据目的地支持定义 数据源主键变更写入策略
- 系统配置默认值配置功能增强
- Kafka 版本适配
- TiDB数据目的地加载方式优化
- OceanBase 4.x 版本适配
- 支持配置环境变量控制登录滑块验证
新增功能
新增功能:支持采集DB2、OceanBase 数据源节点的更新前数据
功能背景
当前支持采集以下数据源节点的更新前数据:ORACLE、MySQL、GoldenDB、PostgreSQL、DB2、OceanBase、Gbase8c、GaussDB(for openguass)。未支持DB2节点、OceanBase节点。
使用场景
- 用户需要DB2节点、OceanBase节点的更新前数据。
功能说明
- 当用户需要使用DB2的更新前数据时,需要先开启采集before数据的参数。开启后将对新建任务采集数据生效。当历史任务需要采集DB2更新前参数时,请先暂停数据任务,通过调用接口方式修改采集before数据的参数。具体配置请查看《部署前指南》。
- 当数据目的地为Kafka、DataHub时,用户可以通过“写入设置”配置将更新前数据写入“before”字段,将更新后数据写入“after”字段。
- 支持通过配置高级清洗方式获取更新前数据。
新增功能:Kafka数据目的地支持定义 数据源主键变更写入策略
功能背景
- 当数据源主键变更时,DataPipeline历史版本会将一条UPDATE消息拆分为DELETE消息与INSERT消息写入数据目的地。
- 对于部分用户,Kafka 消息中的操作类型表示不同业务含义,历史处理逻辑将影响用户的业务处理。
使用场景
- 数据目的地为Kafka。
- 数据源UPDATE主键后,用户需要将UPDATE操作写入Kafka数据目的地。
功能说明
新增功能:系统配置默认值配置功能增强
功能背景
不同用户对策略的要求不同,以至于用户每新建一个实体都需要逐一配置策略,且用户需要的策略配置基本统一,更改时多为重复操作。因此,DataPipeline 在 v4.4 版本支持策略配置、限制配置的默认值设置。
使用场景
- 对实体的策略配置与限制配置要求基本一致时,可在系统设置中设置默认值。
功能说明
- 在系统设置-系统参数及默认值中可以配置实体的系统配置默认值。配置完成后,新建实体将引用此配置。
功能优化
功能优化:OceanBase 4.x 版本适配
在历史 OceanBase 节点支持的历史功能基础上,针对 OceanBase 4.x 特性,我们新增支持如下功能:
- MySQL 模式
- 作为数据源,全量读取和增量读取均支持采集 JSON 格式数据
- 作为目的地,支持写入 JSON 格式数据,当数据格式不正确时,需进错误列
- Oracle 模式
功能优化:Kafka 版本适配
- 适配 Apache Kafka 3.0.x、3.1.x、3.2.x、3.3.x、3.4.x版本。
- 同时支持作为数据源与数据目的地。
- 适配 华为MRS(3.2.0-LTS.1 版本) Kafka。
功能优化:TiDB数据目的地加载方式优化
- 功能说明:支持以唯一索引作为数据加载条件更新数据。当数据目的地为TiDB时,更新条件支持:逻辑主键、主键、唯一索引。
- 使用场景:当数据目的地仅有唯一索引时更新数据。
- 功能说明:当数据源为ORACLE、MySQL,数据目的地为TiDB时,解耦数据源主键与数据目的地更新条件。
功能优化:支持配置环境变量控制登录滑块验证
- 功能说明:支持配置webservice容器参数,以控制登录时是否需要滑块验证。
- 使用方式:为webservice 配置环境变量:SKIP_CAPTCHA=true。默认值为 false,设置为 true 表示跳过滑块验证,直接登入系统。