跳到主要内容
版本:v4.6

V4.4 版本更新日志

2023-11​

功能列表​

  • 支持采集DB2、OceanBase 数据源节点的更新前数据
  • Kafka数据目的地支持定义 数据源主键变更写入策略
  • 系统配置默认值配置功能增强
  • Kafka 版本适配
  • TiDB数据目的地加载方式优化
  • OceanBase 4.x 版本适配
  • 支持配置环境变量控制登录滑块验证

新增功能​

新增功能:支持采集DB2、OceanBase 数据源节点的更新前数据​

功能背景
当前支持采集以下数据源节点的更新前数据:ORACLE、MySQL、GoldenDB、PostgreSQL、DB2、OceanBase、Gbase8c、GaussDB(for openguass)。未支持DB2节点、OceanBase节点。
使用场景

  • 用户需要DB2节点、OceanBase节点的更新前数据。

功能说明

  • 当用户需要使用DB2的更新前数据时,需要先开启采集before数据的参数。开启后将对新建任务采集数据生效。当历史任务需要采集DB2更新前参数时,请先暂停数据任务,通过调用接口方式修改采集before数据的参数。具体配置请查看《部署前指南》。
  • 当数据目的地为Kafka、DataHub时,用户可以通过“写入设置”配置将更新前数据写入“before”字段,将更新后数据写入“after”字段。
  • 支持通过配置高级清洗方式获取更新前数据。

新增功能:Kafka数据目的地支持定义 数据源主键变更写入策略​

功能背景

  • 当数据源主键变更时,DataPipeline历史版本会将一条UPDATE消息拆分为DELETE消息与INSERT消息写入数据目的地。
  • 对于部分用户,Kafka 消息中的操作类型表示不同业务含义,历史处理逻辑将影响用户的业务处理。

使用场景

  • 数据目的地为Kafka。
  • 数据源UPDATE主键后,用户需要将UPDATE操作写入Kafka数据目的地。

功能说明

  • 默认写入方式为主键变更后拆分为DELETE消息与INSERT消息写入Kafka。

新增功能:系统配置默认值配置功能增强​

功能背景
不同用户对策略的要求不同,以至于用户每新建一个实体都需要逐一配置策略,且用户需要的策略配置基本统一,更改时多为重复操作。因此,DataPipeline 在 v4.4 版本支持策略配置、限制配置的默认值设置。
使用场景

  • 对实体的策略配置与限制配置要求基本一致时,可在系统设置中设置默认值。

功能说明

  • 在系统设置-系统参数及默认值中可以配置实体的系统配置默认值。配置完成后,新建实体将引用此配置。

功能优化​

功能优化:OceanBase 4.x 版本适配​

在历史 OceanBase 节点支持的历史功能基础上,针对 OceanBase 4.x 特性,我们新增支持如下功能:

  • MySQL 模式
    • 作为数据源,全量读取和增量读取均支持采集 JSON 格式数据
    • 作为目的地,支持写入 JSON 格式数据,当数据格式不正确时,需进错误列
  • Oracle 模式
    • 作为数据源,全量读取和增量读取均支持采集 JSON 格式和 XML 格式数据
    • 作为目的地,支持写入 JSON 格式和 XML 格式数据,当数据格式不正确时,需进错误列

功能优化:Kafka 版本适配​

  • 适配 Apache Kafka 3.0.x、3.1.x、3.2.x、3.3.x、3.4.x版本。
    • 同时支持作为数据源与数据目的地。
  • 适配 华为MRS(3.2.0-LTS.1 版本) Kafka。
    • 同时支持作为数据源与数据目的地。

功能优化:TiDB数据目的地加载方式优化​

  • 功能说明:支持以唯一索引作为数据加载条件更新数据。当数据目的地为TiDB时,更新条件支持:逻辑主键、主键、唯一索引。
    • 使用场景:当数据目的地仅有唯一索引时更新数据。
  • 功能说明:当数据源为ORACLE、MySQL,数据目的地为TiDB时,解耦数据源主键与数据目的地更新条件。
    • 使用场景
      • ORACLE、MySQL数据源无主键,仅TiDB存在更新条件时,更新TiDB目的地数据。
      • ORACLE、MySQL数据源的主键与TiDB数据目的地的更新条件无同步映射关系时,更新TiDB目的地数据。

功能优化:支持配置环境变量控制登录滑块验证​

  • 功能说明:支持配置webservice容器参数,以控制登录时是否需要滑块验证。
  • 使用方式:为webservice 配置环境变量:SKIP_CAPTCHA=true。默认值为 false,设置为 true 表示跳过滑块验证,直接登入系统。