跳到主要内容
版本:v2.7

配置数据任务组件

数据任务​

1.如何创建数据任务组件​

  • 进入任务流配置面板后,展示组件任务列表

  • 各个组件任务均支持拖拽或者单击的方式放置配置面板
  • 显示点击新建任务入口,显示数据源标识、选择数据目的地标识;鼠标浮在组件上显示:设置以及删除按钮
  • 任务流开启前,支持设置和删除数据任务
    • 点击设置按钮,进入到数据任务创建界面,支持用户修改各项信息。
    • 点击删除按钮,数据任务将被删除。
  • 任务流开启后,不允许删除数据任务。
    • 点击设置按钮进入到数据任务的概览页面,支持用户查看数据同步概览状况、错误队列信息、任务设置、 读取设置、写入设置、以及消息列表等信息。
    • 只允许修改任务设置读取并发数等信息,与当前逻辑一致。

  • 点击新建任务或者设置按钮,立即跳转到任务创建界面,与数据同步任务创建流程基本一致。
  • 每个页面均支持面包屑,用户可通过点击面包屑返回到该任务流或者任务流列表页
  1. 选择或者创建数据源和目的地

  1. 任务设置界面
  • 用户可以为该数据任务设置数据源设置、目的地设置以及高级设置等信息。
  • 已支持的数据同步任务相比,读取方式略有不同,其他项逻辑不变,以下主要介绍不同点。

  • 读取方式
    只支持批量读取,读取的频率和时间取决于用户设置的开始时间组件。
  • 任务设置其他选项与数据同步任务中的相同。
  1. 读取设置和写入设置界面
  • 读取设置和写入设置界界面逻辑均与现有数据同步一致。
  • 配置完成后,点击保存按钮,直接跳转到任务流配置面板页面。


数据任务的状态​

  • 数据任务的所有状态包括:未完善、无状态、等待中、进行中、失败、成功
  1. 数据任务状态:未完善
  • 定义:当数据任务没有完成配置,即没有达到可开启任务流状态为去完善,状态栏提示:未完善

  1. 数据任务状态:无状态
  • 定义:当DAG处于「关闭」状态时,所有数据任务的状态为无状态,状态栏为空。
    • 「无状态」允许编辑数据任务内容。
    • 「无状态」允许删除组件

  1. 数据任务状态:等待中
  • 定义:一个新的调度开始时,所有的组件任务状态为「等待中」,当上游数据任务「成功」事件后,会把该数据任务状态改为「进行中」。
    • 「等待中」允许编辑数据任务内容。
    • 数据任务允许修改任务设置和配置规则,修改逻辑与当前一对一任务暂停状态下的逻辑一致
    • 「等待中」数据任务,提供「开始」按钮。
    • 点击「开始」按钮,数据任务会立即进入激活状态,状态变为进行中,「开始」按钮变为「停止」按钮
    • 当上游任务执行成功触发该数据任务时,只同步新增数据,已经同步过的数据不会再次读取。

  1. 数据任务状态:进行中
  • 定义:当上游组件任务标记为「结束-成功」时,下游的数据任务的状态会由「等待中」改为「进行中」,并执行该数据任务。
    • 「进行中」不允许编辑数据组件任务内容。
    • 「进行中」提供「停止」按钮,点击「停止」按钮后状态改为「结束-失败」。

  1. 数据任务状态:结束-失败
  • 定义:一个「进行中」数据任务被系统停止执行或者超时、或点击该数据任务下的「停止」按钮后,该数据任务状态改为「失败」,并且执行记录里会记录该数据任务的结果。
    • 「失败」允许编辑该数据任务内容。
    • 数据任务允许修改任务设置和配置规则,修改逻辑与当前一对一任务暂停状态下的逻辑一致
    • 「失败」提供「开始」按钮,状态会改为「进行中」
    • 点击「开始」按钮,会继续执行当前任务,只同步新增数据,已经同步过的数据不会再次读取。

  1. 数据任务状态:结束-成功
  • 定义:一个「进行中」的数据任务完成任务后状态会改为「成功」,并且在执行记录里记录该数据任务的结果。
    • 「成功」允许编辑该数据任务的内容。
    • 「成功」提供「开始」按钮,状态会改为「进行中」
    • 点击「开始」按钮,会继续执行当前任务,只同步新增数据,已经同步过的数据不会再次读取。。
    • 该任务执行成功后触发下游任务时,下游任务继续执行,只同步新增数据。

  • 任务流激活后,支持用户点击设置按钮查看具体详情。
  • 如,数据任务