跳到主要内容
版本:v5.3

3.3 数据任务

什么是数据任务​

数据任务是 DataPipeline 同步进行数据同步的最小管理单位。数据任务支持全量同步模式与增量同步模式,满足不同的同步场景需求。

准确的任务配置是保证数据任务稳定运行的关键,运行相关的配置选项,例如数据源与数据目的地配置、数据映射、结构变化策略等,任务将应用映射的配置。与此同时,为了方便数据任务管理与运维的便捷性,在数据映射配置的基础上,数据任务可以自行定义自动日志策略等配置选项。

信息

在5.0版本中,更多的配置服务于任务而不是映射。包括读取限制、读取并发,写入设置等任务基础配置;以及策略配置中的错误队列策略、数据加载策略等,都将服务于任务,仅支持在任务中进行配置。

同时映射和任务形成强一对一关系,当一条映射被任务应用后,该映射将无法选中。

丰富的配置种类为任务运行提供了稳定性保障,但配置选项过多也会对您理解并使用 DataPipeline 进行数据同步带来一定影响。

因此,从配置的逻辑层面我们将数据任务的配置分成了三个层级,基础配置、限制配置、策略配置。

数据任务基础配置​

数据任务基础配置是数据任务可以成功运行的最小配置,完成数据任务基础配置后,数据任务将即限制任务读取并发个数。

◎ 选择数据映射​

在新建数据任务过程中,您需选择数据映射,来应用数据映射的配置内容。

信息
  • 一条数据映射仅支持被一条任务引用,除非删除该任务,则无法在其他任务中选择该数据映射
  • 且在选择映射后,无法对映射列表(同步表列表进行更改),任务映射列表与数据映射中保持强一致

◎ 任务执行配置

此配置指定任务执行方式、定时设置、全量初始化、读取和写入等配置选项。

◎ 任务资源配置

此配置指定任务执行过程中使用的物理资源。

数据任务限制配置​

数据任务限制配置是为了保证数据任务稳定运行,对数据任务的读取、写入、传输队列进行限制的配置内容。

读取限制​

作用于数据任务对数据源的读取。

◎ 读取并发限制

即限制任务读取并发个数。

◎ 单个并发速率限制

读取速率的限制应用于每一个单独的并发。

◎ 单个并发内存限制

设置并发内存限制,系统会限制任务并发使用的内存大小

写入限制​

作用于数据任务对数据源的写入。

◎ 写入并发限制

即限制任务写入并发个数。

◎ 单个并发速率限制

即限制任务写入速率。

◎ Batch 设置

数据任务对数据目的地写入的 Batch 切分设置。

数据任务策略配置​

数据映射策略配置是解决任务运行问题的配置选项。

策略配置可以被分成两类:

  • 一类是解决任务运行过程中可能会遇到的错误的系统自动的应对策略,其中包括:数据加载策略、错误队列策略、自动重启策略等。
  • 另一类是将任务运行信息记录,或将任务运行信息反馈至负责人,方便处理任务错误情况的功能,包括监控策略、日志策略、预警策略,错误队列策略中的错误数据存储等。

◎ 数据加载策略

数据加载策略是在任务写入过程中,写入DML与数据源DML的转换映射配置,且包括加载过程中的增量减并、主键冲突策略配置。

◎ 索引同步策略

索引同步策略是针对在任务同步过程中创建索引的顺序提供的策略。

◎ 执行超时策略

对DDL和DML数据处理时间进行控制,达到配置时间后将超时

◎ 自动重启策略

自动重启策略指当任务报错时,系统将执行自动重启策略,以对数据任务的不同错误类型做出是否重启的调整。

◎ 错误队列策略

开启错误队列策略,运行中的数据任务产生错误数据时,可以不暂停数据任务,将错误数据存储于指定节点,并记录错误堆栈信息。可有效避免因任务出现错误数据而暂停所带来的影响。

◎ 监控策略

同步数据、结构变化数据、事务数据是否开启监控,开启后会在任务运行后的监控页面查看到相关信息。

◎ 预警策略

通过设置预警规则,选择预警发送组,预警策略可以帮助您实现对关注内容的预警配置,实现当任务出现预警超出规则限制的情况时,可以及时通过预警发送方式(包括邮件与 WebHook)通知到您

◎ 日志策略

合理的日志策略可以有效帮助您降低查询与管理日志数据的时间投入,通过日志策略,您可以配置日志记录的类别与日志存储方式。

数据任务的基本管理​

在数据任务列表页可以新建数据任务,编辑数据任务,并对数据任务进行挂起、激活状态调整操作、删除数据任务操作和设置重要任务操作。您也可以批量删除、挂起、激活数据任务;通过选择器、搜索来检索数据任务,并指定检索条件;点击表头右侧的设置按钮自定义展示列;依据部分字段进行排序;自动切换平铺与横向滚动展示模式。

◎ 创建数据任务

详见:创建数据任务

◎ 修改数据任务

详见:修改数据任务

◎ 删除数据任务

详见:删除数据任务

◎ 激活数据任务

详见:激活数据任务

◎ 暂停数据任务

详见:暂停数据任务

◎ 通过项目管理数据任务

数据任务项目分组指在数据任务首页可以对任务进行项目分组来进行统一管理,通过对数据任务的分组,您可以更清晰,更省时的进行任务管理,实现多项目任务解耦。