版本:v4.19
任务监控
关于此功能
任务监控是对任务运行过程中同步数据处理、元数据结构变化处理、事务处理、任务状态进行监控的模块。
统计方法:每1分钟采集一次数据,然后根据您选择的颗粒度汇总数据。
对每个指标,均支持查看不同统计粒度和时间范围内的数据。支持通过开关图例控制图像数据是否展示。

| 模块 | 指标 | 指标释义 | 说明 |
|---|---|---|---|
| 同步数据处理 | 累计数据量 | 累计数据量指截至到某个时间点,当前任务的同步数据的总和。 | 支持查看不同统计粒度和时间范围内的数据,其中,支持查看的时间范围与您的es内索引留存时间有关。目前支持监控已读取数据量、已读取DML数据量、已处理数据量、已处理DML数据量、错误队列数据的累计量。 |
| 流量统计 | 流量统计指在一定的统计粒度下,当前任务同步的数据量。计算方法:结束时间的累计数据量与开始时间的累计数据量的差值。 | 您可以通过观察流量图的变化来查看流量变化趋势。支持通过调整颗粒度和时间范围来查看不同粒度下、不同时间范围内的数据变化。目前支持监控已读取数据量、已读取DML数据量、已处理数据量、已处理DML数据量的流量。 | |
| 同步速率 | 同步速率指单位时间内当前任务同步的数据量。 | ||
| 批次处理 | 批次数据量监控了一个批次同步的数据量。 | 支持监控一个批次内的已读取数据量和已处理数据量。仅全量定时任务有此指标。 | |
| 结构变化数据处理 | 结构变化数据 | 用于监控在任务同步过程中处理的结构变化。 | 支持查看已读取结构变化和已处理结构变化。 |
| 事务处理 | 事务数据 | 事务处理监控主要对当前任务同步的事务数量的统计。 | 任务的事务处理数量等于映射的事务处理数量。 |
| 任务运行状态 | 运行状态 | 任务监控中的任务运行状态体现任务运行过程中的真实状态,其中,暂停中、激活中等中间状态会被抽象为等待中状态。 |
注意事项
信息
- 任务中每个指标的统计值均为映射中该指标的统计值求和所得。
- 已读取数据量:当 DataPipeline 系统重启,会重新读取数据,若源端没有主键则重复读取的数据量会记录到已读取数据量里。
- 已处理数据量:包括同步到数据目的地数据量和进入到错误队列的数据量。当 DataPipeline 系统重启,会根据断点续传机制从上一个写入记录点开始重新写入部分数据,但这部分数据会记录到已写入数据量里。
- 已读取结构变化指 DataPipeline 在任务运行过程中读取到的源表的结构变化。若设置的结构变化策略为「源发生结构变化,任务暂停」,任务暂停后,如果不修改策略,再次重启任务,那么,此结构变化会被重复统计。
- 已处理结构变化指 DataPipeline 的结构变化策略触发的实际发生的结构变化,人工刷新表并应用的结构变化不会被统计