跳到主要内容
版本:v4.22

任务执行配置

任务执行配置是通过指定同步方式,执行时间,执行方式等配置选项指定任务执行方式的配置。

关于此功能​

◎ 同步方式​

是指定数据任务同步的方式,包括增量同步与全量同步。我们提供两种任务同步方式:

同步方式任务执行方式业务及要求
增量同步监听模式采用日志监听方式,即CDC采集,是一个无界的数据流
定时模式快照方式获取数据,每次读取均是一个有界的数据流,通过增量识别字段获取本次的数据流
全量同步定时模式快照方式获取数据,每次读取均是一个有界的数据流,并且支持定时获取
单次模式(DP 4.20 新增)快照方式获取数据,单次读取一个有界的数据流

◎ 同步起点​

通用起点设置​

指任务执行读取的数据起点,在基于日志获取技术的增量数据同步任务中,可以对数据任务整体做同步起点设置,也可对数据映射设置不同的同步起点。

  • 任务使用统一同步起点
    • 使用暂停时进度(仅当任务暂停时出现)
    • 全量初始化
    • 指定起点
    • 激活任务时为起点
  • 分映射设置同步起点
    • 使用暂停时进度(仅当任务暂停时出现)
    • 全量初始化
    • 指定起点
    • 激活任务时为起点
指定起点介绍​
指定起点配置​
  • 选择检查点:
    • 使用检查点需在节点中配置【策略配置】-【检查点策略】,根据需求进行检查点策略配置
  • 输入起点:
    • 根据不同数据节点类型,输入对应的数据库起点
指定起点支持的数据节点​
数据节点读取方式配置起点方式
mysqlbinlog+ 选择检查点
+ 输入起点
- binlog postion
- binlog文件名称
- GTID
oraclelogminer+ 选择检查点
+ 输入起点
- logminer scn
采集代理+ 选择检查点
+ 输入起点
gbase8sgbase8s cdc+ 选择检查点
+ 输入起点
- cdc记录序列号
goldendbgoldendb cdc+ 选择检查点
+ 输入起点
- GTID
oceanbaseoblog reader+ 选择检查点
+ 输入起点
- ObLog Reader heartbeat
sqlserverChange Tracking+ 选择检查点
+ 输入起点
- Change Tracking Version
Change Data Capture+ 选择检查点
+ 输入起点
- LSN
tdsql for mysqlBinlog+ 指定时间为起点
信息

如您使用任务统一同步起点,所有映射将会执行您配置的同步起点,映射中的同步起点配置不生效;

同理,使用分映射同步起点,每个映射执行自己的同步起点设置,任务统一同步起点不生效。

信息

注意:

  • 当任务选择【全量初始化】、【指定起点】或者【激活任务时间为起点】这三个选项后,暂停任务并修改起点配置为【使用暂停时进度】时,重新激活任务页面展示之前的配置内容,但实际仍以【暂停时进度】为起点,执行数据任务
同步起点-Hive数据源​
  • 同步方式为「增量同步」,「固定步长」。任务执行方式为「定时模式」
    • 当数据源表存在分区键时,您可以通过配置“读取起点”和“读取步长”来限定每次定时读取数据的范围。DataPipeline会使用“读取起点”作为初次读取数据的LastMax值,并根据“读取步长”计算读取的范围,实现数据的动态增量读取。“LastMax”表示上一次读取时的最大值。
      1. 读取起点:表示初次读取数据时的LastMax值。这个值是一个目录名称,结合读取区间来确定初始读取的目录。
      2. 读取步长:表示每次读取数据时的读取范围。您可以配置“LastMax函数”来实现数据的动态增量读取,同时支持开区间和闭区间。开区间用()表示,闭区间用[]表示。
    • 示例一:
      • 表示以2023/40周为起点,每次读取后1周的数据。

分区键名称类型格式读取起点读
年份时间yyyy2023
周时间ww[LastMax+1,LastMax+2]

读取步长配置:(LastMax,LastMax+1]

    * 根据示例配置的预期读取结果
读取次数预期读取结果
第一次读取2023/40周
第二次读取2023/41周
第三次读取2023/42周

如果有读取条件如果有过滤条件,则与起点设置求交集。

  • 同步方式为「增量同步」,「动态步长」。任务执行方式为「定时模式」

    • 当数据源表存在分区键时,您可以通过配置“读取起点”,实现动态步长的读取,相较于固定步长,动态步长类似JDBC的增量读取方式,可以一次性读取到能读取到的所有增量分区
      1. 读取起点:表示初次读取数据时的LastMax值。每次读完湖记录上一次的读取起点,并作为下一次的读取起点。
  • 同步方式为「范围同步」,需要定义范围的起点和终点。

    • 当数据源表存在分区键时,您可以通过配置“读取起点”和“读取终点”来限定每次定时读取数据的范围。范围同步表示每次读取固定范围的数据。
      1. 读取起点:表示每次读取数据的起始目录。在此配置中,您应该提供目录的名称,以指定每次读取的起始位置。
      2. 读取终点:表示每次读取数据的终止目录。在此配置中,您应该提供目录的名称,以指定每次读取的终止位置。

以上图为例,读取起点为2023/40周 读取终点为2025/23周

提示

注意:

当范围同步时,为闭区间。当增量同步时,为左开右闭的区间,

示例:如果定义范围同步,假定起点设置为20010429,终点设置为20010503

计算出timestampPartitionValues:

20010429,20010430,20010501,20010502,20010503

如果是增量同步-固定步长,需要设置起点和固定步长

增量同步-固定步长起点为,lastmax,读取区间为(lastmax, lastmax+固定步长】

如果是如果是增量同步-动态步长,需要设置起点即可

增量同步-动态步长起点为,lastmax,读取区间为(lastmax, lastmax_new】,每次读到最新的分区,下一次会从最新的分区的下一个分区开始,为了避免分区重复,因此区间为左开右闭

◎ 批次完成标识​

指数据任务完成批次数据同步后,在数据目的地或您指定的环境完成标识。

  • 标识生成维度:
    • 任务级别生成同步完成标识:指任务内的所有映射都完成数据同步,系统才会生成同步完成标识。
    • 映射级别生成同步完成标识:指任务内每条映射完成数据同步后,系统会立即生成相应的标识。
  • 标识生成环境:
    • 支持您选择数据目的地或非数据目的地节点作为标识生成环境。
    • 当前以下节点支持生成完成标识:FTP,SFTP,HDFS,OSS,Mysql,Oracle,DB2,MaxCompute,PostgreSQL,SQL Server,Hive,Inceptor。
  • 标识生成方式:
    • 标识生成环境为非文件系统时,批量同步完成支持写入标识表。该表需要您按照表结构提示信息提前创建。
    • 标识生成环境为文件系统时,批量同步完成支持生成标识文件。您需要指定标识文件生成路径。在标识文件路径中,支持引用「系统配置参数及默认值」中定义的「用户自定义参数」,以及如下参数。参数引用方式为 [$参数名称]。(目前不支持引用“随机数”参数)
参数说明
current_ts当前时间
sink_table目的地表名称
source_table数据源表名称
task_id任务ID
信息

限制说明:

  1. 任务同步方式为增量定时读取模式或全量读取模式时支持配置同步完成标识。
  2. 当数据目的地为文件系统,配置批次同步完成标识后,数据源读取批次数据完成时DataPipeline将立即向文件系统目的地写入数据文件。即启用同步完成标识后DataPipeline不再按照数据链路配置的「新建文件大小限制」或「写入时间限制」规则对数据文件进行拆分或合并。

标识表结构定义:

字段名称说明
id自增ID
batch_count批次同步数据量
batch_end_time批次结束时间
batch_index批次序号
batch_start_time批次开始时间
batch_time_cost_ms批次耗时
created_at记录时间
done_mark_type标识维度,T 表示任务维度标识,M 标识映射维度标识
mapping_id映射id
sink_database数据目的地数据库名称
sink_node_id数据目的地节点id
sink_schema数据目的地Schema名称
sink_table_name数据目的地表名称
src_database数据源数据库名称
src_node_id数据源节点id
src_schema数据源Schema名称
src_table_name数据源表名称
task_id任务id

标识文件样例:

done_mark_type,M
task_id,21
mapping_id,23
batch_index,3
batch_start_time,2023-08-31 16:53:01
batch_end_time,2023-08-31 16:53:06
batch_time_cost_ms,5000
batch_count,1
src_node_id,2
src_schema,py_auto
src_table_name,sr_test_1
sink_node_id,19
sink_table_name,ys08301/sr_test_1
created_at,2023-08-31 16:53:02
  • 标识延迟反馈配置:
    • 当前MaxCompute作为目的地时支持生成完成标识的标识延迟反馈配置
    • 最长配置的延迟反馈时长为 24 小时,默认值为 0,即不延迟反馈
    • 配置延迟反馈时长后,将根据延迟反馈时长的配置,延迟写入标识表。

操作步骤​

◎ 日志读取模式(CDC)下配置增量同步

  1. 在任务详情页点击基础配置,进入基础配置 Tab;
  2. 找到任务执行配置栏,鼠标 hover 于任务执行配置右侧,查看当前配置的读取模式;
  3. 确定当前为日志读取模式(CDC)后,选择增量同步;
  4. 选择同步起点;
    1. 全量初始化:即增量同步之前先进行全量数据同步,将数据目的地数据覆盖
      1. 您可在下方配置每个数据目的地的全量初始化方式
    2. 指定起点:即直接进行增量数据同步,不对数据目的地数据进行操作
      1. 此选项需要您指定增量同步读取起点
      2. 以 MySQL 增量同步监听模式即 Binlog 读取模式为例,需要填写:\ a. Binlog Position\ b. Binlog 文件名称\ c. GTID
      3. 当数据源节点在节点策略配置中开启检查点策略,您可通过系统指定同步起点,即在进行增量同步之前不进行全量同步的情况中,在日志增量获取模式下指定日志读取起点,以明确数据从哪个 snapshot 开始同步。检查点策略详见:检查点策略
    3. 激活任务为起点
      1. 即从激活任务的时间点开始读取数据源当前产生的日志
  5. 指定任务首次执行时间;
  6. 指定任务执行方式(日志读取模式(CDC)下仅可选监听模式)。

◎ JDBC 读取模式下下配置增量同步

  1. 在任务详情页点击基础配置,进入基础配置 Tab;
  2. 找到任务执行配置栏,鼠标 hover 于任务执行配置右侧,查看当前配置的读取模式;
  3. 确定当前为 JDBC 读取方式后,选择增量同步;
  4. 选择同步起点;
    1. 全量初始化:即增量同步之前先进行全量数据同步,将数据目的地数据覆盖
      1. 您可在下方配置每个数据目的地的全量初始化方式
  5. 指定任务首次执行时间;
  6. 指定任务执行方式(JDBC 读取方式下仅可选定时模式)。
    1. 指定定时频率

◎ 配置全量同步

  1. 在任务详情页点击基础配置,进入基础配置 Tab;
  2. 找到任务执行配置栏,鼠标 hover 于任务执行配置右侧,查看当前配置的读取模式;
  3. 确定当前为 JDBC 读取方式后,选择全量同步;
  4. 指定任务首次执行时间;
  5. 指定任务定时频率;
  6. 配置数据目的地全量初始化。
信息
  • 任务暂停后,修改增量任务执行配置中的全量初始化开关、增量读取起点等配置,任务将会按照您修改后的执行配置方案重新执行,可能会覆盖已同步数据;
  • DB2 数据节点作为数据源时,执行任务全量数据同步,DataPipeline 将标记任务对应订阅同步方式及同步状态为 refresh;
  • DB2 数据节点作为数据源时,执行带有全量初始化的增量数据同步任务,DataPipeline 将标记任务对应订阅同步方式为 mirror,订阅中每张表的同步状态为 refresh;
  • DB2 数据节点作为数据源时,执行带有全量初始化的增量数据同步任务,DataPipeline 将标记任务对应订阅同步方式为 mirror,订阅中每张表的同步状态为 active(即 mark a table capture point)。

增量同步-监听模式不同数据源读取起点配置项列表 :

数据源读取方式读取起点配置
MySQLBinlogBinlog Position
Binlog 文件名称
GTID(如MySQL数据库开启GTID则为必填项)
SQL SeverChange TrackingChange Tracking Version
PostgreSQLwal2jsonLSN
OracleAgentLogMinner SCN
DB2Agent手动修改IBM InfoSphere Data Replication 订阅的bookmark值

◎批量数据同步完成后生成标识文件


  1. 在任务详情页点击基础配置,进入基础配置 Tab;
  2. 配置同步方式为增量同步,任务执行方式为定时模式。或配置同步方式为全量同步。
  3. 选择需要生成完成标识的目的地,开启「生成同步完成标识」开关。
  4. 定义标识生成维度。
  5. 定义标识生成环境。
  6. 定义标识生成方式。
    1. 方式一:同步完成后将同步完成信息写入标识表。首次使用该功能时请点击「查看标识表创建语句」,按照页面提示的建表语句在标识生成环境创建标识表。创建完成后请点击「选择标识表」进行表选择。
    2. 方式二:同步完成后生成同步完成标识文件。需要定义输入标识文件生成路径与标识文件名称。
  7. 定义标识延迟反馈配置。

全量初始化清空目的地​

数据目的地清空目的地方式
ArgoDB清除数据(truncate & insert)
TDSQL MYSQL清除数据(truncate & insert)
StarRocks清除数据(truncate & insert)
Paimon清除数据(drop & create)
Gbase 8a清除数据(truncate & copy )、删除重建(drop & create)