版本:v4.16
错误队列策略
错误队列策略是在任务运行过程中产生错误数据时,系统为保证任务稳定运行或数据传输准确性的策略配置。
关于此功能
开启错误队列策略,运行中的数据任务产生错误数据时,可以不暂停数据任务,缓存错误数据,并记录错误堆栈信息。可有效避免因任务出现错误数据而暂停所带来的影响。
- 错误队列策略会根据错误规则对数据进行校验,并对校验为错误数据的数据执行任务暂停策略和错误堆栈信息存储策略。
- 您可以自定义错误规则并管理系统默认错误规则,也可以配置当检测到错误数据时任务的相关策略。
- 错误队列类型可分为预校验错误类型与后校验错误类型。
- 预校验错误类型指系统在写入目的地之前执行数据检验,将无法写入的错误数据写入错误队列,包括数据过长错误、非法数据格式错误、数据越界错误、非空约束错误、非法数据内容错误。
- 后校验错误类型指系统在尝试写入失败后无法处理的错误数据,这部分数据会被写入错误队列,包括高级清洗错误、主键为空错误、未知错误。
错误类型定义
| 错误类型 | 说明 |
|---|---|
| 数据过长 | 数据超过数据库支持的精度设置 |
| 非法数据格式 | 向某字段写入非该字段类型的数据,且目的地无法兼容 |
| 数据越界 | 数据精度标度越界 |
| 非空约束 | 向非空约束字段写入空值 |
| 非法数据内容 | 向字段写入不兼容的数据内容 |
| 高级清洗错误 | 高级清洗脚本错误产生的错误数据 |
| 主键为空错误 | 主键字段为空,无法写入 |
| 主键/唯一索引冲突错误 | 写入数据时,发生主键/唯一索引冲突 |
| 未知错误 | 未知错误数据类型 |
错误队列设置
DataPipeline 一共提供 5 项与错误队列相关的设置。帮助用户更好的管理错误数据,并处理错误数据对于数据任务的影响。
- 错误队列规则配置
- 暂停配置
- 激活设置
- 是否存储错误堆栈信息
- 回收设施
错误队列规则配置
通过给不同数据目的地的字段配置校验规则,可以配置哪些数据进入错误队列。
错误队列类型可分为预校验错误类型与后校验错误类型。
- 预校验错误类型指系统在写入目的地之前执行数据检验,将无法写入的错误数据写入错误队列,包括数据过长错误、非法数据格式错误、数据越界错误、非空约束错误、非法数据内容错误。
- 后校验错误类型指系统在尝试写入失败后无法处理的错误数据,这部分数据会被写入错误队列,包括高级清洗错误、主键为空错误、未知错误。
其中预校验错误类型中的非空约束错误类型可以进行配置,其他错误类型的默认校验策略展示于错误规则列表中
暂停配置
当数据任务的任意表出现错误数据,DataPipeline 将会按照您配置的策略暂停任务或继续运行任务。
| 选项 | 说明 |
|---|---|
| 出现错误数据,不暂停该任务,错误数据进入错误队列处理 | 这种配置将不会因为错误数据阻断数据任务,可以让任务先执行完,再处理错误数据。缺点是可能错误数据过多, 不及时处理,数据质量较差。同时不及时处理错误数据,会消耗大量空间。 |
| 错误数据大于等于(X)条暂停该数据任务 | 默认选项:X 默认值为 10000,一种保护机制,避免错误数据过多影响数据质量。 |
激活配置
当数据任务的任意表出现错误数据,DataPipeline 将会按照您配置的策略限制任务是否可被激活
| 选项 | 说明 |
|---|---|
| 选项 | 说明 |
| 不校验错误队列数据,任务均可激活 | 默认选项 |
| 待处理错误小于(X)条,该任务可被激活 | 默认值为 0 |
是否存储错误堆栈信息
错误堆栈信息有助于您寻找并理解错误数据原因,方便定位解决问题,但可能占用大量的节点存储空间
| 选项 | 说明 |
|---|---|
| 存储 | 默认选项 |
| 不存储 | 不存储错误堆栈,可节省错误队列缓存存储空间 |
回收设置
当数据任务的错误数据被处理后,选择回收策略。
| 选项 | 说明 |
|---|---|
| 不回收 | 永久保留错误队列数据 |
| 被处理后,立即回收 | 错误数据被处理后立即回收 |
| 被处理后,X 天后回收 | 默认选项,错误数据被处理后延迟回收,默认值为 7 天 |