版本:v3.7
任务执行配置
任务执行配置是通过指定同步方式,执行时间,执行方式等配置选项指定任务执行方式的配置。
关于此功能
◎ 同步方式
是指定数据任务同步的方式,包括增量同步与全量同步。我们提供两种任务同步方式:
- 增量同步
- 支持日志读取模式(CDC);
- 支持 JDBC 读取模式,通过增量识别字段获取增量数据。
- 全量同步
- 支持 JDBC 读取模式,读取全量数据。
◎ 同步起点
指任务执行读取的数据起点,在基于日志获取技术的增量数据同步任务中,可以对数据任务整体做同步起点设置,也可对数据映射设置不同的同步起点。
- 任务使用统一同步起点
- 使用暂停时进度(仅当任务暂停时出现)
- 全量初始化
- 指定起点
- 激活任务时为起点
- 分映射设置同步起点
- 使用暂停时进度(仅当任务暂停时出现)
- 全量初始化
- 激活任务时为起点
信息
如您使用任务统一同步起点,所有映射将会执行您配置的同步起点,映射中的同步起点配置不生效;
同理,使用分映射同步起点,每个映射执行自己的同步起点设置,任务统一同步起点不生效。
◎ 同步终点
指任务执行读取的数据终点,在基于日志获取技术的增量数据同步任务中,我们提供两种选项
- 不设置终点
- 指定读取终点
信息
限制说明:
目前该功能仅支持Mysql和TeleDB节点的binlog读取模式。当解析日志到达读取终点时,任务会立即暂停读取,当kafka里的数据消费完成后,任务会自动暂停。
操作步骤
◎ 日志读取模式(CDC)下配置增量同步
- 在任务详情页点击基础配置,进入基础配置 Tab;
- 找到任务执行配置栏,鼠标 hover 于任务执行配置右侧,查看当前配置的读取模式;
- 确定当前为日志读取模式(CDC)后,选择增量同步;
- 选择同步起点;
- 全量初始化:即增量同步之前先进行全量数据同步,将数据目的地数据覆盖
- 您可在下方配置每个数据目的地的全量初始化方式
- 指定起点:即直接进行增量数据同步,不对数据目的地数据进行操作
- 此选项需要您指定增量同步读取起点
- 以 MySQL 增量同步监听模式即 Binlog 读取模式为例,需要填写:\ a. Binlog Position\ b. Binlog 文件名称\ c. GTID
- 当数据源节点在节点策略配置中开启检查点策略,您可通过系统指定同步起点,即在进行增量同步之前不进行全量同步的情况中,在日志增量获取模式下指定日志读取起点,以明确数据从哪个 snapshot 开始同步。检查点策略详见:检查点策略
- 激活任务为起点
- 即从激活任务的时间点开始读取数据源当前产生的日志
- 全量初始化:即增量同步之前先进行全量数据同步,将数据目的地数据覆盖
- 指定任务首次执行时间;
- 指定任务执行方式(日志读取模式(CDC)下仅可选监听模式)。
◎ JDBC 读取模式下下配置增量同步
- 在任务详情页点击基础配置,进入基础配置 Tab;
- 找到任务执行配置栏,鼠标 hover 于任务执行配置右侧,查看当前配置的读取模式;
- 确定当前为 JDBC 读取方式后,选择增量同步;
- 选择同步起点;
- 全量初始化:即增量同步之前先进行全量数据同步,将数据目的地数据覆盖
- 您可在下方配置每个数据目的地的全量初始化方式
- 全量初始化:即增量同步之前先进行全量数据同步,将数据目的地数据覆盖
- 指定任务首次执行时间;
- 指定任务执行方式(JDBC 读取方式下仅可选定时模式)。
- 指定定时频率
◎ 配置全量同步
- 在任务详情页点击基础配置,进入基础配置 Tab;
- 找到任务执行配置栏,鼠标 hover 于任务执行配置右侧,查看当前配置的读取模式;
- 确定当前为 JDBC 读取方式后,选择全量同步;
- 指定任务首次执行时间;
- 指定任务定时频率;
- 配置数据目的地全量初始化。
信息
- 任务暂停后,修改增量任务执行配置中的全量初始化开关、增量读取起点等配置,任务将会按照您修改后的执行配置方案重新执行,可能会覆盖已同步数据;
- DB2 数据节点作为数据源时,执行任务全量数据同步,DataPipeline 将标记任务对应订阅同步方式及同步状态为 refresh;
- DB2 数据节点作为数据源时,执行带有全量初始化的增量数据同步任务,DataPipeline 将标记任务对应订阅同步方式为 mirror,订阅中每张表的同步状态为 refresh;
- DB2 数据节点作为数据源时,执行带有全量初始化的增量数据同步任务,DataPipeline 将标记任务对应订阅同步方式为 mirror,订阅中每张表的同步状态为 active(即 mark a table capture point)。
增量同步-监听模式不同数据源读取起点配置项列表 :
| 数据源 | 读取方式 | 读取起点配置 |
|---|---|---|
| MySQL | Binlog | Binlog Position |
| Binlog 文件名称 | ||
| GTID(如MySQL数据库开启GTID则为必填项) | ||
| SQL Sever | Change Tracking | Change Tracking Version |
| PostgreSQL | wal2json | LSN |
| Oracle | Agent | LogMinner SCN |
| DB2 | Agent | 手动修改IBM InfoSphere Data Replication 订阅的bookmark值 |
全量初始化清空目的地
| 数据目的地 | 清空目的地方式 |
|---|---|
| StarRocks | 清除数据(truncate & insert ) |