版本:v5.6
预警策略
通过配置预警策略,可以在任务出现预警指标定义的情况时,发送预警信息到指定的预警渠道。
关于此功能
支持的预警指标有:任务报错预警,任务配置变更预警,错误队列数据条数预警,数据源 Kafka Topic Lag 数据量预警,系统消息队列 Topic Lag 数据量预警。
操作步骤
- 在任务详情页面,点击策略配置按钮进入策略配置 tab;
- 开启预警策略开关;
- 点击添加预警策略按钮,进入添加预警策略弹窗;
- 输入预警名称;
- 选择预警指标;
- 选择监控时间段;
- 设定预警阈值;
- 设置重复频率;
- 选择预警发送组;
- 设置预警发送时间间隔;
- 完成配置。
预警指标
DataPipeline 任务支持的预警指标如下
| 预警指标 | 预警规则 | 规则释义 | 说明 |
|---|---|---|---|
| 任务报错 | - | 任务报错后,发送告警 | 任务默认配置 |
| 状态变化 | 自动重启 | 任务发生自动重启,发送告警 | |
| 因节点挂起而被暂停 | 因节点挂起而被暂停,发送告警 | ||
| 任务状态变更 | 任务状态发生变更,包括规则触发,策略触发,人工触发均包含触发 | ||
| 运行统计指标预警 | 数据源结构变化 | 数据源结构变化,发送告警 | |
| 错误队列数据量 | 错误队列数据量达到预警阈值,发送告警 | ||
| 数据源 Kafka 积压数据量 | Kafka 数据源的积压数据量达到预警阈值,发送告警 | ||
| 系统缓存积压数据量 | 系统 Kafka 缓存积压数据量达到预警阈值,发送告警 | ||
| 读取实时流量预警 | 在监控时间段内,读取数据量的变化达到告警阈值,发送告警 | ||
| 读取速率预警 | 在监控时间段内,读取速率达到告警阈值,发送告警 | ||
| 配置变化 | 任务配置变化 | 任务的任意配置发生变化,发送告警 | |
| 相关链路配置变更 | 任务引用的链路中,与此任务相关的任意配置发生变化,发送告警 | ||
| 相关节点配置变更 | 任务引用的节点的任意配置发生变化,发送告警 | ||
| 运行状态监控 | 增量定时同步完成 | 对于增量定时任务,每批次增量同步完成,发送告警 | |
| 增量数量连续性 | 目的地没有在设置的时间段内获取到增量数据,发送告警 | ||
| 全量同步完成 | 每批次全量同步完成、全量初始化完成、范围同步完成,发送告警 | ||
| 映射完成当前批次同步 | 映射每批次同步完成后,发送告警 | ||
| 同步完成标识生成失败 | 当任务配置同步完成标识,但标识生成失败时,发送告警 | ||
| 规则触发 | 规则触发成功 | ||
| 规则触发失败 | |||
| 源节点(连接切换)连接检查预警 | 源节点连接异常 | 源节点进行切换时,连接异常发送告警 | |
| 源节点自动连接切换预警 | 源节点自动切换读取目标 | 源节点为集群自动切换后,发送预警 |
注意事项
信息
- 预警发送组可在系统配置–预警中心页面进行配置,支持 Webhook 与邮件渠道,详情见:管理预警中心
- 为了避免预警信息发送过于频繁,我们提供预警发送时间间隔设置,当您指定时间间隔为 1 小时,则在 1 小时内触发的多条相同预警只会被发送一次,此选项没有默认值。
- 重复频率中的「节假日重复」、「工作日重复」的生效时间可在系统设置-文件上传-节假日配置页面进行配置。