跳到主要内容
版本:v3.7

任务监控

关于此功能​

任务监控是对任务运行过程中同步数据处理、元数据结构变化处理、事务处理、任务状态进行监控的模块。

统计方法:每1分钟采集一次数据,然后根据您选择的颗粒度汇总数据。

对每个指标,均支持查看不同统计粒度和时间范围内的数据。支持通过开关图例控制图像数据是否展示。

模块指标指标释义说明
同步数据处理累计数据量累计数据量指截至到某个时间点,当前任务的同步数据的总和。支持查看不同统计粒度和时间范围内的数据,其中,支持查看的时间范围与您的es内索引留存时间有关。目前支持监控已读取数据量、已读取DML数据量、已处理数据量、已处理DML数据量、错误队列数据的累计量。
流量统计流量统计指在一定的统计粒度下,当前任务同步的数据量。计算方法:结束时间的累计数据量与开始时间的累计数据量的差值。您可以通过观察流量图的变化来查看流量变化趋势。支持通过调整颗粒度和时间范围来查看不同粒度下、不同时间范围内的数据变化。目前支持监控已读取数据量、已读取DML数据量、已处理数据量、已处理DML数据量的流量。
同步速率同步速率指单位时间内当前任务同步的数据量。
批次处理批次数据量监控了一个批次同步的数据量。支持监控一个批次内的已读取数据量和已处理数据量。仅全量定时任务有此指标。
结构变化数据处理结构变化数据用于监控在任务同步过程中处理的结构变化。支持查看已读取结构变化和已处理结构变化。
事务处理事务数据事务处理监控主要对当前任务同步的事务数量的统计。任务的事务处理数量等于映射的事务处理数量。
任务运行状态运行状态任务监控中的任务运行状态体现任务运行过程中的真实状态,其中,暂停中、激活中等中间状态会被抽象为等待中状态。

注意事项​

信息
  • 任务中每个指标的统计值均为映射中该指标的统计值求和所得。
  • 已读取数据量:当 DataPipeline 系统重启,会重新读取数据,若源端没有主键则重复读取的数据量会记录到已读取数据量里。
  • 已处理数据量:包括同步到数据目的地数据量和进入到错误队列的数据量。当 DataPipeline 系统重启,会根据断点续传机制从上一个写入记录点开始重新写入部分数据,但这部分数据会记录到已写入数据量里。
  • 已读取结构变化指 DataPipeline 在任务运行过程中读取到的源表的结构变化。若设置的结构变化策略为「源发生结构变化,任务暂停」,任务暂停后,如果不修改策略,再次重启任务,那么,此结构变化会被重复统计。
  • 已处理结构变化指 DataPipeline 的结构变化策略触发的实际发生的结构变化,人工刷新表并应用的结构变化不会被统计