跳到主要内容
版本:v3.7

任务执行配置

任务执行配置是通过指定同步方式,执行时间,执行方式等配置选项指定任务执行方式的配置。

关于此功能​

◎ 同步方式​

是指定数据任务同步的方式,包括增量同步与全量同步。我们提供两种任务同步方式:

  • 增量同步
    • 支持日志读取模式(CDC);
    • 支持 JDBC 读取模式,通过增量识别字段获取增量数据。
  • 全量同步
    • 支持 JDBC 读取模式,读取全量数据。

◎ 同步起点​

指任务执行读取的数据起点,在基于日志获取技术的增量数据同步任务中,可以对数据任务整体做同步起点设置,也可对数据映射设置不同的同步起点。

  • 任务使用统一同步起点
    • 使用暂停时进度(仅当任务暂停时出现)
    • 全量初始化
    • 指定起点
    • 激活任务时为起点
  • 分映射设置同步起点
    • 使用暂停时进度(仅当任务暂停时出现)
    • 全量初始化
    • 激活任务时为起点
信息

如您使用任务统一同步起点,所有映射将会执行您配置的同步起点,映射中的同步起点配置不生效;

同理,使用分映射同步起点,每个映射执行自己的同步起点设置,任务统一同步起点不生效。

◎ 同步终点​

指任务执行读取的数据终点,在基于日志获取技术的增量数据同步任务中,我们提供两种选项

  • 不设置终点
  • 指定读取终点
信息

限制说明:

目前该功能仅支持Mysql和TeleDB节点的binlog读取模式。当解析日志到达读取终点时,任务会立即暂停读取,当kafka里的数据消费完成后,任务会自动暂停。

操作步骤​

◎ 日志读取模式(CDC)下配置增量同步

  1. 在任务详情页点击基础配置,进入基础配置 Tab;
  2. 找到任务执行配置栏,鼠标 hover 于任务执行配置右侧,查看当前配置的读取模式;
  3. 确定当前为日志读取模式(CDC)后,选择增量同步;
  4. 选择同步起点;
    1. 全量初始化:即增量同步之前先进行全量数据同步,将数据目的地数据覆盖
      1. 您可在下方配置每个数据目的地的全量初始化方式
    2. 指定起点:即直接进行增量数据同步,不对数据目的地数据进行操作
      1. 此选项需要您指定增量同步读取起点
      2. 以 MySQL 增量同步监听模式即 Binlog 读取模式为例,需要填写:\ a. Binlog Position\ b. Binlog 文件名称\ c. GTID
      3. 当数据源节点在节点策略配置中开启检查点策略,您可通过系统指定同步起点,即在进行增量同步之前不进行全量同步的情况中,在日志增量获取模式下指定日志读取起点,以明确数据从哪个 snapshot 开始同步。检查点策略详见:检查点策略
    3. 激活任务为起点
      1. 即从激活任务的时间点开始读取数据源当前产生的日志
  5. 指定任务首次执行时间;
  6. 指定任务执行方式(日志读取模式(CDC)下仅可选监听模式)。

◎ JDBC 读取模式下下配置增量同步

  1. 在任务详情页点击基础配置,进入基础配置 Tab;
  2. 找到任务执行配置栏,鼠标 hover 于任务执行配置右侧,查看当前配置的读取模式;
  3. 确定当前为 JDBC 读取方式后,选择增量同步;
  4. 选择同步起点;
    1. 全量初始化:即增量同步之前先进行全量数据同步,将数据目的地数据覆盖
      1. 您可在下方配置每个数据目的地的全量初始化方式
  5. 指定任务首次执行时间;
  6. 指定任务执行方式(JDBC 读取方式下仅可选定时模式)。
    1. 指定定时频率

◎ 配置全量同步

  1. 在任务详情页点击基础配置,进入基础配置 Tab;
  2. 找到任务执行配置栏,鼠标 hover 于任务执行配置右侧,查看当前配置的读取模式;
  3. 确定当前为 JDBC 读取方式后,选择全量同步;
  4. 指定任务首次执行时间;
  5. 指定任务定时频率;
  6. 配置数据目的地全量初始化。
信息
  • 任务暂停后,修改增量任务执行配置中的全量初始化开关、增量读取起点等配置,任务将会按照您修改后的执行配置方案重新执行,可能会覆盖已同步数据;
  • DB2 数据节点作为数据源时,执行任务全量数据同步,DataPipeline 将标记任务对应订阅同步方式及同步状态为 refresh;
  • DB2 数据节点作为数据源时,执行带有全量初始化的增量数据同步任务,DataPipeline 将标记任务对应订阅同步方式为 mirror,订阅中每张表的同步状态为 refresh;
  • DB2 数据节点作为数据源时,执行带有全量初始化的增量数据同步任务,DataPipeline 将标记任务对应订阅同步方式为 mirror,订阅中每张表的同步状态为 active(即 mark a table capture point)。

增量同步-监听模式不同数据源读取起点配置项列表 :

数据源读取方式读取起点配置
MySQLBinlogBinlog Position
Binlog 文件名称
GTID(如MySQL数据库开启GTID则为必填项)
SQL SeverChange TrackingChange Tracking Version
PostgreSQLwal2jsonLSN
OracleAgentLogMinner SCN
DB2Agent手动修改IBM InfoSphere Data Replication 订阅的bookmark值

全量初始化清空目的地​

数据目的地清空目的地方式
StarRocks清除数据(truncate & insert )