跳到主要内容
版本:v4.19

异常处理

异常处理页展示了DataPipeline数据任务执行过程中错误数据的分布情况,提供错误队列处理功能,部分节点提供错误数据查询功能。错误数据处理功能与错误队列策略相关。

错误队列​

关于此功能​

我们提供两种处理错误数据的方式:

  • 重新同步:即再次尝试写入该条数据,此选项通常作用于数据目的地映射配置不正确的情况。
  • 忽略:即不在系统中处理该条错误数据,此选项需要您手动处理错误数据。

操作步骤​

重新同步-映射错误数据​

  1. 在数据任务详情页面错误队列 Tab 点击重新同步该映射数据,或勾选数据映射后点击全部重新同步;
  2. 点击即开始执行。

重新同步-单条错误数据​

  1. 在数据任务详情页面错误队列 Tab 点击查看详情,进入该映射的错误数据详情页面;
  2. 点击重新同步该条错误数据,或勾选错误数据后点击全部重新同步;
  3. 点击即开始执行。

忽略-映射错误数据​

  1. 在数据任务详情页面错误队列 Tab 点击忽略该映射数据,或勾选数据映射后点击全部忽略;
  2. 错误数据详情中,错误处理状态将变更为已处理。

忽略-单条错误数据​

  1. 在数据任务详情页面错误队列 Tab 点击查看详情,进入该映射的错误数据详情页面;
  2. 点击忽略该条错误数据,或勾选错误数据后点击全部忽略;
  3. 错误数据详情中,错误处理状态将变更为已处理。

清除-映射错误数据​

在数据任务详情页面错误队列 Tab 点击清除该映射错误数据,或勾选数据映射后点击全部清除。

清除-单条错误数据​

  1. 在数据任务详情页面错误队列 Tab 点击查看详情,进入该映射的错误数据详情页面;
  2. 点击清除该条错误数据,或勾选错误数据后点击全部清除。

批量导出错误数据​

  1. 在数据任务详情页面错误队列 Tab 勾选数据映射后点击导出错误数据;
  2. 在数据任务详情页面错误队列 Tab 点击查看详情,进入该映射的错误数据详情页面,勾选错误数据后点击导出错误数据;
  3. 在导出错误数据弹窗选择导出数据格式;\ » 当前支持 csv、JSON
  4. 点击确定即导出错误数据。

注意事项​

警告

在错误数据详情页面,您可以通过错误类型、错误发生时间、错误处理状态排序/筛选错误数据,筛选后的全选操作范围为被筛选的内容。

错误数据查询​

关于此功能​

当数据出现丢失或不一致的情况时,您可以通过「错误数据查询」功能,查询该条数据在DataPipeline内部处理情况,定位错误数据产生环节,针对性的对问题进行处理。\ 当前支持数据源为Oracle、Mysql、DB2,数据目的地为Kafka 时进行数据查询。

操作步骤​

  1. 选择需要进行数据查询的表映射。
  2. 输入数据源字段查询条件。
  3. 当数据缓存策略为”系统内置消息队列“时,配置DataPipeline缓存消费条件。最多支持消费5000条数据,当消费数据为空时,不对该组件进行消费。
  4. 配置Kafka目的地消费条件。最多支持消费5000条数据,当消费数据为空时,不对Kafka目的地进行消费。
  5. 点击”查询“,查看数据查询结果。