跳到主要内容
版本:v2.7

错误队列设置

「错误队列设置」​

数据任务同步时,错误队列将实时收集如脏数据、配置规则有误等数据相关错误,后置处理数据错误,避免数据无法写入目的地导致任务暂停的问题。

  • 支持设置预处理的数据行数(默认为100000行)
    • 预处理机制能保证错误率的平均度,同时保证低数据量的任务的正常运行。
    • 每个 schema 表将预先处理指定量的数据,根据指定量数据进入错误队列的比例计算错误率(错误率=指定数据量中进入错误队列的错误数/指定的数据量);该批次错误率计算后进行下一批次的计算。
    • 支持用户自定义设置该任务每个表预处理的条数,直接在输入框输入即可。
  • 支持设置预警的百分比(默认为0.5%)
    • 当该任务的任意表的错误率达到指定值时,系统将发出预警通知;
    • 支持用户自定义设置该任务触发预警通知的错误率,直接在输入框输入即可。
  • 支持设置暂停数据任务的百分比(默认为1%)
    • 当该任务的任意表的错误率达到指定值时,数据任务会被暂停,并发出通知;
    • 支持用户自定义设置该任务触发任务暂停的错误率,直接在输入框输入即可。