版本:v4.19
任务执行配置
任务执行配置是通过指定同步方式,执行时间,执行方式等配置选项指定任务执行方式的配置。
关于此功能
◎ 同步方式
是指定数据任务同步的方式,包括增量同步与全量同步。我们提供两种任务同步方式:
- 增量同步
- 支持日志读取模式(CDC);
- 支持 JDBC 读取模式,通过增量识别字段获取增量数据。
- 全量同步
- 支持 JDBC 读取模式,读取全量数据。
◎ 同步起点
指任务执行读取的数据起点,在基于日志获取技术的增量数据同步任务中,可以对数据任务整体做同步起点设置,也可对数据映射设置不同的同步起点。
- 任务使用统一同步起点
- 使用暂停时进度(仅当任务暂停时出现)
- 全量初始化
- 指定起点
- 激活任务时为起点
- 分映射设置同步起点
- 使用暂停时进度(仅当任务暂停时出现)
- 全量初始化
- 激活任务时为起点
信息
如您使用任务统一同步起点,所有映射将会执行您配置的同步起点,映射中的同步起点配置不生效;
同理,使用分映射同步起点,每个映射执行自己的同步起点设置,任务统一同步起点不生效。
同步起点-Hive数据源
- 同步方式为「增量同步」,「固定步长」。任务执行方式为「定时模式」
- 当数据源表存在分区键时,您可以通过配置“读取起点”和“读取区间”来限定每次定时读取数据的范围。DataPipeline会使用“读取起点”作为初次读取数据的LastMax值,并根据“读取区间”计算读取的范围,实现数据的动态增量读取。“LastMax”表示上一次读取时的最大值。
- 读取起点:表示初次读取数据时的LastMax值。这个值是一个目录名称,结合读取区间来确定初始读取的目录。
- 读取区间:表示每次读取数据时的读取范围。您可以配置“LastMax函数”来实现数据的动态增量读取,同时支持开区间和闭区间。开区间用()表示,闭区间用[]表示。
- 示例一:
- 表示以2020/12/29日为起点,每次读取后两天的数据。
- 当数据源表存在分区键时,您可以通过配置“读取起点”和“读取区间”来限定每次定时读取数据的范围。DataPipeline会使用“读取起点”作为初次读取数据的LastMax值,并根据“读取区间”计算读取的范围,实现数据的动态增量读取。“LastMax”表示上一次读取时的最大值。
| 分区键名称 | 类型 | 格式 | 读取起点 | 读取区间 |
|---|---|---|---|---|
| 年份 | 时间 | yyyy | 2020 | |
| 月份 | 时间 | MM | 12 | |
| 日 | 时间 | dd | 29 | [LastMax+1,LastMax+2] |
* 根据示例配置的预期读取结果
| 读取次数 | 预期读取结果 |
|---|---|
| 第一次读取 | 2020/12/30 2020/12/31 目录下所有数据 |
| 第二次读取 | 2020/1/1 2020/1/2 目录下所有数据 |
| 第三次读取 | 2020/1/3 2020/1/4 目录下所有数据 |
- 示例二:
* 表示以2020/12/29日为起点,每次读取之后四个月固定日期的数据。
| 分区键名称 | 类型 | 格式 | 读取起点 | 读取区间 |
|---|---|---|---|---|
| 年份 | 时间 | yyyy | 2020 | |
| 月份 | 时间 | MM | 12 | [LastMax+1,LastMax+4] |
| 日 | 时间 | dd | 15 |
* 根据示例配置的预期读取结果
| 读取次数 | 预期读取结果 |
|---|---|
| 第一次读取 | 2021/1/15 2021/2/15 2021/3/15 2021/4/15 目录下的所有数据 |
| 第二次读取 | 2021/5/15 2021/6/15 2020/7/15 2021/8/15目录下的所有数据 |
| 第三次读取 | 2021/9/15 2021/10/15 2020/11/15 2021/12/15目录下的所有数据 |
- 同步方式为「增量同步」,「动态步长」。任务执行方式为「定时模式」
- 当数据源表存在分区键时,您可以通过配置“读取起点”,实现动态步长的读取,相较于固定步长,动态步长类似JDBC的增量读取方式,可以一次性读取到能读取到的所有增量分区
- 读取起点:表示初次读取数据时的LastMax值。每次读完湖记录上一次的读取起点,并作为下一次的读取起点。
- 当数据源表存在分区键时,您可以通过配置“读取起点”,实现动态步长的读取,相较于固定步长,动态步长类似JDBC的增量读取方式,可以一次性读取到能读取到的所有增量分区
- 同步方式为「范围同步」
- 当数据源表存在分区键时,您可以通过配置“读取起点”和“读取终点”来限定每次定时读取数据的范围。范围同步表示每次读取固定范围的数据。
- 读取起点:表示每次读取数据的起始目录。在此配置中,您应该提供目录的名称,以指定每次读取的起始位置。
- 读取终点:表示每次读取数据的终止目录。在此配置中,您应该提供目录的名称,以指定每次读取的终止位置。
- 当数据源表存在分区键时,您可以通过配置“读取起点”和“读取终点”来限定每次定时读取数据的范围。范围同步表示每次读取固定范围的数据。
提示
注意:
当范围同步时,为闭区间。当增量同步时,为左开右闭的区间,
示例:如果定义范围同步,假定起点设置为20010429,终点设置为20010503
计算出timestampPartitionValues:
20010429,20010430,20010501,20010502,20010503
如果是增量同步-固定步长,需要设置起点和固定步长
增量同步-固定步长起点为,lastmax,读取区间为(lastmax, lastmax+固定步长】
如果是如果是增量同步-动态步长,需要设置起点即可
增量同步-动态步长起点为,lastmax,读取区间为(lastmax, lastmax_new】,每次读到最新的分区,下一次会从最新的分区的下一个分区开始,为了避免分区重复,因此区间为左开右闭
◎ 批次完成标识
指数据任务完成批次数据同步后,在数据目的地或您指定的环境完成标识。
- 标识生成维度:
- 任务级别生成同步完成标识:指任务内的所有映射都完成数据同步,系统才会生成同步完成标识。
- 映射级别生成同步完成标识:指任务内每条映射完成数据同步后,系统会立即生成相应的标识。
- 标识生成环境:
- 支持您选择数据目的地或非数据目的地节点作为标识生成环境。
- 当前以下节点支持生成完成标识:FTP,SFTP,HDFS,OSS,Mysql,Oracle,DB2,MaxCompute,PostgreSQL,SQL Server,Hive,Inceptor。
- 标识生成方式:
- 标识生成环境为非文件系统时,批量同步完成支持写入标识表。该表需要您按照表结构提示信息提前创建。
- 标识生成环境为文件系统时,批量同步完成支持生成标识文件。您需要指定标识文件生成路径。在标识文件路径中,支持引用「系统配置参数及默认值」中定义的「用户自定义参数」,以及如下参数。参数引用方式为 [$参数名称]。(目前不支持引用“随机数”参数)
| 参数 | 说明 |
|---|---|
| current_ts | 当前时间 |
| sink_table | 目的地表名称 |
| source_table | 数据源表名称 |
| task_id | 任务ID |
信息
限制说明:
- 任务同步方式为增量定时读取模式或全量读取模式时支持配置同步完成标识。
- 当数据目的地为文件系统,配置批次同步完成标识后,数据源读取批次数据完成时DataPipeline将立即向文件系统目的地写入数据文件。即启用同步完成标识后DataPipeline不再按照数据链路配置的「新建文件大小限制」或「写入时间限制」规则对数据文件进行拆分或合并。
标识表结构定义:
| 字段名称 | 说明 |
|---|---|
| id | 自增ID |
| batch_count | 批次同步数据量 |
| batch_end_time | 批次结束时间 |
| batch_index | 批次序号 |
| batch_start_time | 批次开始时间 |
| batch_time_cost_ms | 批次耗时 |
| created_at | 记录时间 |
| done_mark_type | 标识维度,T 表示任务维度标识,M 标识映射维度标识 |
| mapping_id | 映射id |
| sink_database | 数据目的地数据库名称 |
| sink_node_id | 数据目的地节点id |
| sink_schema | 数据目的地Schema名称 |
| sink_table_name | 数据目的地表名称 |
| src_database | 数据源数据库名称 |
| src_node_id | 数据源节点id |
| src_schema | 数据源Schema名称 |
| src_table_name | 数据源表名称 |
| task_id | 任务id |
标识文件样例:
done_mark_type,M
task_id,21
mapping_id,23
batch_index,3
batch_start_time,2023-08-31 16:53:01
batch_end_time,2023-08-31 16:53:06
batch_time_cost_ms,5000
batch_count,1
src_node_id,2
src_schema,py_auto
src_table_name,sr_test_1
sink_node_id,19
sink_table_name,ys08301/sr_test_1
created_at,2023-08-31 16:53:02
- 标识延迟反馈配置:
- 当前MaxCompute作为目的地时支持生成完成标识的标识延迟反馈配置
- 最长配置的延迟反馈时长为 24 小时,默认值为 0,即不延迟反馈
- 配置延迟反馈时长后,将根据延迟反馈时长的配置,延迟写入标识表。
操作步骤
◎ 日志读取模式(CDC)下配置增量同步
- 在任务详情页点击基础配置,进入基础配置 Tab;
- 找到任务执行配置栏,鼠标 hover 于任务执行配置右侧,查看当前配置的读取模式;
- 确定当前为日志读取模式(CDC)后,选择增量同步;
- 选择同步起点;
- 全量初始化:即增量同步之前先进行全量数据同步,将数据目的地数据覆盖
- 您可在下方配置每个数据目的地的全量初始化方式
- 指定起点:即直接进行增量数据同步,不对数据目的地数据进行操作
- 此选项需要您指定增量同步读取起点
- 以 MySQL 增量同步监听模式即 Binlog 读取模式为例,需要填写:\ a. Binlog Position\ b. Binlog 文件名称\ c. GTID
- 当数据源节点在节点策略配置中开启检查点策略,您可通过系统指定同步起点,即在进行增量同步之前不进行全量同步的情况中,在日志增量获取模式下指定日志读取起点,以明确数据从哪个 snapshot 开始同步。检查点策略详见:检查点策略
- 激活任务为起点
- 即从激活任务的时间点开始读取数据源当前产生的日志
- 全量初始化:即增量同步之前先进行全量数据同步,将数据目的地数据覆盖
- 指定任务首次执行时间;
- 指定任务执行方式(日志读取模式(CDC)下仅可选监听模式)。
◎ JDBC 读取模式下下配置增量同步
- 在任务详情页点击基础配置,进入基础配置 Tab;
- 找到任务执行配置栏,鼠标 hover 于任务执行配置右侧,查看当前配置的读取模式;
- 确定当前为 JDBC 读取方式后,选择增量同步;
- 选择同步起点;
- 全量初始化:即增量同步之前先进行全量数据同步,将数据目的地数据覆盖
- 您可在下方配置每个数据目的地的全量初始化方式
- 全量初始化:即增量同步之前先进行全量数据同步,将数据目的地数据覆盖
- 指定任务首次执行时间;
- 指定任务执行方式(JDBC 读取方式下仅可选定时模式)。
- 指定定时频率
◎ 配置全量同步
- 在任务详情页点击基础配置,进入基础配置 Tab;
- 找到任务执行配置栏,鼠标 hover 于任务执行配置右侧,查看当前配置的读取模式;
- 确定当前为 JDBC 读取方式后,选择全量同步;
- 指定任务首次执行时间;
- 指定任务定时频率;
- 配置数据目的地全量初始化。
信息
- 任务暂停后,修改增量任务执行配置中的全量初始化开关、增量读取起点等配置,任务将会按照您修改后的执行配置方案重新执行,可能会覆盖已同步数据;
- DB2 数据节点作为数据源时,执行任务全量数据同步,DataPipeline 将标记任务对应订阅同步方式及同步状态为 refresh;
- DB2 数据节点作为数据源时,执行带有全量初始化的增量数据同步任务,DataPipeline 将标记任务对应订阅同步方式为 mirror,订阅中每张表的同步状态为 refresh;
- DB2 数据节点作为数据源时,执行带有全量初始化的增量数据同步任务,DataPipeline 将标记任务对应订阅同步方式为 mirror,订阅中每张表的同步状态为 active(即 mark a table capture point)。
增量同步-监听模式不同数据源读取起点配置项列表 :
| 数据源 | 读取方式 | 读取起点配置 |
|---|---|---|
| MySQL | Binlog | Binlog Position |
| Binlog 文件名称 | ||
| GTID(如MySQL数据库开启GTID则为必填项) | ||
| SQL Sever | Change Tracking | Change Tracking Version |
| PostgreSQL | wal2json | LSN |
| Oracle | Agent | LogMinner SCN |
| DB2 | Agent | 手动修改IBM InfoSphere Data Replication 订阅的bookmark值 |
◎批量数据同步完成后生成标识文件
- 在任务详情页点击基础配置,进入基础配置 Tab;
- 配置同步方式为增量同步,任务执行方式为定时模式。或配置同步方式为全量同步。
- 选择需要生成完成标识的目的地,开启「生成同步完成标识」开关。
- 定义标识生成维度。
- 定义标识生成环境。
- 定义标识生成方式。
- 方式一:同步完成后将同步完成信息写入标识表。首次使用该功能时请点击「查看标识表创建语句」,按照页面提示的建表语句在标识生成环境创建标识表。创建完成后请点击「选择标识表」进行表选择。
- 方式二:同步完成后生成同步完成标识文件。需要定义输入标识文件生成路径与标识文件名称。
- 定义标识延迟反馈配置。
全量初始化清空目的地
| 数据目的地 | 清空目的地方式 |
|---|---|
| ArgoDB | 清除数据(truncate & insert) |
| TDSQL MYSQL | 清除数据(truncate & insert) |
| StarRocks | 清除数据(truncate & insert) |
| Paimon | 清除数据(drop & create) |
| Gbase 8a | 清除数据(truncate & copy )、删除重建(drop & create) |