版本:v2.7
错误队列设置
「错误队列设置」
数据任务同步时,错误队列将实时收集如脏数据、配置规则有误等数据相关错误,后置处理数据错误,避免数据无法写入目的地导致任务暂停的问题。
- 支持设置预处理的数据行数(默认为100000行)
- 预处理机制能保证错误率的平均度,同时保证低数据量的任务的正常运行。
- 每个 schema 表将预先处理指定量的数据,根据指定量数据进入错误队列的比例计算错误率(错误率=指定数据量中进入错误队列的错误数/指定的数据量);该批次错误率计算后进行下一批次的计算。
- 支持用户自定义设置该任务每个表预处理的条数,直接在输入框输入即可。
- 支持设置预警的百分比(默认为0.5%)
- 当该任务的任意表的错误率达到指定值时,系统将发出预警通知;
- 支持用户自定义设置该任务触发预警通知的错误率,直接在输入框输入即可。
- 支持设置暂停数据任务的百分比(默认为1%)
- 当该任务的任意表的错误率达到指定值时,数据任务会被暂停,并发出通知;
- 支持用户自定义设置该任务触发任务暂停的错误率,直接在输入框输入即可。