跳到主要内容
版本:v5.3

任务概览

关于此功能​

任务概览页实现了对DataPipeline任务的全局监控,当前版本支持监控的指标有任务状态、实时任务延时情况、同步数据处理情况的监控。

用户可以统一调整这些指标的刷新频率,刷新页面将带来性能损耗,刷新频率越高,性能损耗越大,因此,我们默认不刷新。用户设置的刷新频率会在刷新浏览器页面时被重置。

任务状态​

任务状态监控是对不同状态的任务的数量的统计信息。

任务概览页的任务状态是在任务真实运行状态的基础上,根据业务场景抽象而成的,包括:

  • 进行中:指任务正常运行且没有未处理的报错,对应实际任务状态为进行中或等待资源中
  • 已暂停:指任务已暂停且没有未处理的报错
  • 故障:指任务中有未处理的报错
  • 未激活:指任务已创建但未被激活
  • 等待中:指任务执行激活、暂停、删除动作后的短暂中间状态,对应实际任务状态为激活中、暂停中、删除中或写入已读取数据中
  • 获取状态中:指暂时无法获取任务运行状态

实时任务延时情况​

实时任务延时情况监控,对系统内的所有实时任务的数据同步平均延时进行监控,计算方法是实时任务内有延时的映射延时的平均值。映射延时的计算方法参见映射的增量延时统计。

您可以查看不同延时区间的任务占比及各延时区间的任务列表。

同步数据处理情况​

同步数据处理情况旨在监控系统内所有任务的累计数据量和流量。

累计数据量指截至到某个时间点,系统内所有任务的同步数据的总和(含已删除任务的数据),支持查看不同统计粒度和时间范围内的数据。目前支持统计已读取数据量和已处理数据量。

流量统计指在一定的统计粒度下,系统内所有任务同步的数据量之和。您可以通过观察流量图的变化来查看流量变化趋势。可以通过调整颗粒度和时间范围来查看不同粒度下、不同时间范围内的数据变化。

示例:

颗粒度为天,时间范围为2022-01-01 00:00 至2022-02-01 23:00

  • 累计数据量:截至每天24点,累计已读取/已处理数据量。
  • 流量统计:每天0点至24点同步的数据量。

****