跳到主要内容
版本:v5.2

异常处理

异常处理页展示了DataPipeline数据任务执行过程中错误数据的分布情况,提供错误队列处理功能,部分节点提供错误数据查询功能。错误数据处理功能与错误队列策略相关。

错误队列

关于此功能​

我们提供两种处理错误数据的方式:

  • 重新同步:即再次尝试写入该条数据,此选项通常作用于数据目的地映射配置不正确的情况。
  • 忽略:即不在系统中处理该条错误数据,此选项需要您手动处理错误数据。

操作步骤​

重新同步-映射错误数据​

  1. 在数据任务详情页面错误队列 Tab 点击重新同步该映射数据,或勾选数据映射后点击全部重新同步;
  2. 点击即开始执行。

重新同步-单条错误数据​

  1. 在数据任务详情页面错误队列 Tab 点击查看详情,进入该映射的错误数据详情页面;
  2. 点击重新同步该条错误数据,或勾选错误数据后点击全部重新同步;
  3. 点击即开始执行。

忽略-映射错误数据​

  1. 在数据任务详情页面错误队列 Tab 点击忽略该映射数据,或勾选数据映射后点击全部忽略;
  2. 错误数据详情中,错误处理状态将变更为已处理。

忽略-单条错误数据​

  1. 在数据任务详情页面错误队列 Tab 点击查看详情,进入该映射的错误数据详情页面;
  2. 点击忽略该条错误数据,或勾选错误数据后点击全部忽略;
  3. 错误数据详情中,错误处理状态将变更为已处理。

清除-映射错误数据​

在数据任务详情页面错误队列 Tab 点击清除该映射错误数据,或勾选数据映射后点击全部清除。

清除-单条错误数据​

  1. 在数据任务详情页面错误队列 Tab 点击查看详情,进入该映射的错误数据详情页面;
  2. 点击清除该条错误数据,或勾选错误数据后点击全部清除。

批量导出错误数据​

  1. 在数据任务详情页面错误队列 Tab 勾选数据映射后点击导出错误数据;
  2. 在数据任务详情页面错误队列 Tab 点击查看详情,进入该映射的错误数据详情页面,勾选错误数据后点击导出错误数据;
  3. 在导出错误数据弹窗选择导出数据格式;\ » 当前支持 csv、JSON
  4. 点击确定即导出错误数据。

注意事项​

警告

在错误数据详情页面,您可以通过错误类型、错误发生时间、错误处理状态排序/筛选错误数据,筛选后的全选操作范围为被筛选的内容。

错误数据查询

关于此功能​

当数据出现丢失或不一致的情况时,您可以通过「错误数据查询」功能,查询该条数据在DataPipeline内部处理情况,定位错误数据产生环节,针对性的对问题进行处理。\ 当前支持数据源为Oracle、Mysql、DB2,数据目的地为Kafka 时进行数据查询。

操作步骤​

  1. 选择需要进行数据查询的表映射。
  2. 输入数据源字段查询条件。
  3. 当数据缓存策略为”系统内置消息队列“时,配置DataPipeline缓存消费条件。最多支持消费5000条数据,当消费数据为空时,不对该组件进行消费。
  4. 配置Kafka目的地消费条件。最多支持消费5000条数据,当消费数据为空时,不对Kafka目的地进行消费。
  5. 点击”查询“,查看数据查询结果。

使用 IBM CDC 插件采集数据的任务异常处理

DB2 数据源数据任务订阅健康检查程序

当数据任务发生如下情况,数据订阅将会被暂停:

1数据任务被暂停,包括报错暂停与页面手动暂停,不包括可被自动重启的数据任务报错。\ 2数据订阅/数据任务健康检查程序,当数据任务状态为暂停(不包括可被自动重启的任务报错暂停)、且数据订阅状态为运行中,订阅健康检查程序会暂停数据订阅。

注:数据任务自动重启根据执行逻辑执行完成,但数据任务还没有成功启动时,任务报错算作不可被自动重启的任务报错

数据源结构变化处理

当数据源发生结构变化,按照操作步骤可恢复订阅与数据任务。

页面操作

1暂停业务\ 2在 DP 中暂停数据任务(正常暂停)\ 3等待暂停完成\ 4进行 DDL 操作\ 5在 DP 任务中对发生 DDL 的源表的映射点击结构变化按钮\ 6恢复业务\ 7启动任务\ 8在下游数据中检查是否结构变化被落实

命令行操作

1暂停业务\ 2在 DP 中暂停数据任务(正常暂停)\ 3等待暂停完成\ 4进行 DDL 操作\ 5在发生结构变化后,到 IBM CDC 的 Datastore 执行命令行操作\ 6dmreaddtable 将这张表重新添加到订阅中\ 7dmdescribe 更新这张表的数据结构\ 8dmsetreplicationmethod 将这张表的同步方式修改为 refresh(全量刷新)\ 9dmsetreplicationmethod 将这张表的同步方式修改为 mirror (增量复制)\ 10dmmarktablecapturepoint 将这张表的同步起点设置为当前点\ 11在 DataPipeline 数据链路页面刷新数据源表元数据\ 12激活任务