后台任务
1. 功能概述
后台任务用于查看 DataPipeline Web 服务中 Quartz 后台任务的注册条件、运行方式和调度状态,帮助系统管理员和运维人员确认平台内部定时任务、常驻任务及手动任务是否正常运行,并辅助定位任务未触发、持续运行、阻塞或异常等问题。
后台任务属于只读监控功能。当前页面不提供暂停、恢复、手动触发、重试、终止或删除后台任务的操作,不会直接修改 Quartz 调度数据。
适用场景包括:
- 确认平台后台任务是否已经注册及启用;
- 查看定时任务的上次和下次计划触发时间;
- 查看常驻任务当前由哪个 Web 实例执行以及已运行时长;
- 识别阻塞、异常、暂停或未启用的任务;
- 判断任务未执行是启用条件不满足,还是调度状态异常;
- 查看 Quartz 集群实例的最近心跳和在线状态;
- 根据任务作用说明和运维提示确定后续排查方向。
2. 功能入口
进入 数据任务 > 任务概览,切换到 后台任务 页签。
任务概览页面包含“数据任务”和“后台任务”两个页签:
| 页签 | 说明 |
|---|---|
| 数据任务 | 查看数据同步任务的状态、实时延迟和数据处理情况。 |
| 后台任务 | 查看 Web 侧 Quartz 后台任务的启用条件、运行方式、调度状态和集群节点状态。 |
3. 页面组成
后台任务页由以下区域组成:
- 页面说明与更新时间:展示功能说明、最近一次数据查询时间和手动刷新按钮。
- 状态摘要:汇总 Quartz 任务总数、等待触发数、运行中数量和异常/阻塞数量。
- 查询与筛选:支持按关键词、启用条件和任务状态筛选。
- 任务列表:同时展示任务定义、调度计划和当前运行信息。
- 集群节点:展示 Quartz 调度器实例的心跳及状态。
- 任务详情:展示任务作用、运维提示、当前调度信息和技术信息。
页面采用合并视图,不需要在“任务总览”“运行中任务”和“集群节点”之间切换。调度信息和执行信息统一显示在任务列表中,集群节点位于列表下方。
4. 刷新任务数据
4.1 手动刷新
页面标题区域显示最近一次 更新时间。单击 刷新,可立即重新查询后台任务和集群节点状态。
若任务状态刚发生变化,但页面仍显示旧数据,可先核对更新时间,再执行手动刷新。
4.2 自动刷新
任务概览页面右上角提供 刷新频率 设置,当前支持:
- 不刷新;
- 30 秒;
- 1 分钟;
- 5 分钟;
- 10 分钟。
选择刷新频率后,任务概览页面会按设定周期更新。刷新会产生额外查询开销,频率越高,对平台和配置数据库造成的压力越大。日常查看建议使用较长周期;仅在持续观察故障状态时临时提高刷新频率。
5. 查看状态摘要
页面顶部通过四个指标卡展示当前后台任务概况:
| 指标 | 说明 |
|---|---|
| Quartz 任务 | 当前查询到的后台任务总数。 |
| 等待触发 | 已启用且正在等待下一次调度触发的任务数量。 |
| 运行中 | 当前存在执行实例的后台任务数量,包括持续运行的常驻任务。 |
| 异常/阻塞 | 当前状态为异常或阻塞的任务数量合计,应优先关注。 |
状态摘要反映的是最近一次查询结果。自动刷新关闭时,指标不会持续实时变化,需要单击 刷新 获取最新状态。
部分消息消费、状态监听或事件处理任务会在 Web 服务启动后持续运行。此类任务长期处于“运行中”通常属于正常现象,应结合“调度/运行方式”和任务作用判断,不应仅根据运行时长认定为异常。
6. 搜索与筛选
任务列表上方提供关键词搜索、启用条件筛选和状态筛选。列表左上角以“筛选后数量 / 总数量”的形式显示当前结果数。
6.1 关键词搜索
在 搜索任务名称、作用 输入框中输入关键词,可以定位相关后台任务。搜索范围包括任务名称、Quartz Job 名称、任务作用、启用条件和运维提示等任务信息。
例如,可输入:
Kafka:查找 Kafka 相关任务;健康:查找健康检查类任务;告警:查找告警检查或统计任务;DataTask:按技术任务名称查找任务。
清空搜索框后恢复显示其他符合筛选条件的任务。
6.2 按启用条件筛选
使用 全部启用条件 下拉框,可以按任务注册所依赖的运行环境或组件条件进行筛选。下拉选项根据当前环境实际任务动态生成。
常见启用条件可能包括生产环境标识、Redis、Elasticsearch、手动任务或未启用状态等。任务存在多个启用条件时,需要结合详情中的“启用条件是否满足”判断该任务是否会实际运行。
6.3 按状态筛选
使用 全部状态 下拉框,可以选择以下状态:
| 状态 | 说明 |
|---|---|
| 等待触发 | 任务已启用,当前等待下一次计划触发。 |
| 运行中 | 任务存在当前执行实例。对于常驻任务,该状态可能长期保持。 |
| 已暂停 | Quartz Trigger 当前处于暂停状态,不会按原计划继续触发。 |
| 阻塞 | 任务因并发限制或同一 Job 已有实例运行等原因处于阻塞状态。 |
| 异常 | 任务调度信息或状态存在异常,需要结合详情和服务日志排查。 |
| 手动 | 任务不按固定周期自动调度,需要通过对应接口或业务流程启动。 |
| 未启用 | 当前环境不满足任务启用条件,任务未注册或未参与调度。 |
| 已完成 | 任务本轮或指定调度周期已经完成。 |
关键词、启用条件和状态筛选可以组合使用。例如,先选择“异常”,再输入任务名称的一部分,可快速缩小排查范围。
7. 查看任务列表
任务列表展示以下字段:
| 字段 | 说明 |
|---|---|
| 任务 | 后台任务的产品化名称或技术名称。单击名称也可查看详情。 |
| 任务作用 | 说明该任务负责的系统维护、状态检查、事件消费或数据清理工作。 |
| 启用条件 | 任务注册或运行依赖的环境条件。 |
| 调度/运行方式 | 以可读方式展示定时周期、启动方式或持续运行方式。 |
| 状态 | 当前任务状态,如等待触发、运行中、异常或未启用。 |
| 上次计划触发 | 最近一次按调度计划应触发的时间。无适用时间时显示“-”。 |
| 下次计划触发 | 下一次预计触发时间。常驻、手动或未启用任务可能显示“-”。 |
| 执行开始时间 | 当前执行实例的开始时间,仅运行中任务展示。 |
| 当前执行实例 ID | 当前承载该任务的 Quartz/Web 实例标识。 |
| 运行时长 | 当前执行实例从开始到查询时刻的持续时间。 |
| 调度延迟 | 实际开始时间相对计划触发时间的延迟。仅适用时展示。 |
| 操作 | 单击 详情 打开任务详情抽屉。 |
表格较宽时,可横向滚动查看右侧字段。
7.1 理解调度/运行方式
页面会将 Quartz 调度配置转换为可读描述,常见形式包括:
- 每 30 秒执行:按固定间隔周期运行;
- 每分钟第 16 秒执行:在每分钟的指定秒数触发;
- 每天 03:00:00 执行:每天按固定时间触发;
- 每天 06:00:00、14:00:00 执行:每天在多个固定时间触发;
- 启动后立即执行,每 5 秒拉取消息:Web 服务启动后持续运行,并按间隔轮询;
- 通过接口手动启动:不由周期调度自动触发;
- 未启用:当前环境未注册或未启用该任务。
7.2 理解时间字段
- 对周期调度任务,应结合上次和下次计划触发时间判断调度是否连续。
- 对运行中任务,应结合执行开始时间、运行时长和执行实例 ID 判断运行位置和持续时间。
- 对常驻任务,上次和下次计划触发时间可能为空,但会展示执行开始时间和运行时长。
- 对手动或未启用任务,多数时间和执行字段显示“-”属于正常情况。
8. 查看任务详情
单击任务名称或操作列中的 详情,页面右侧打开任务详情抽屉。
8.1 业务与运维信息
详情顶部首先展示:
| 信息 | 说明 |
|---|---|
| 任务作用说明 | 说明任务处理的业务对象、运行目标以及可能产生的系统影响。 |
| 运维定位提示 | 给出该任务异常时建议优先检查的时间、配置、依赖组件或日志。 |
排查问题时,应先阅读这两项,再结合任务状态和技术信息确定需要查看的服务日志。
8.2 当前调度与运行信息
详情主体展示:
- 启用条件;
- 启用条件是否满足;
- 调度/运行方式;
- 状态;
- 上次计划触发;
- 下次计划触发;
- 执行开始时间;
- 当前执行实例 ID;
- 运行时长;
- 调度延迟,适用于 Cron 调度任务。
8.3 技术信息
展开 技术信息,可查看用于研发和运维定位的 Quartz 元数据:
| 字段 | 说明 |
|---|---|
| Quartz Job | Quartz 中登记的 Job 名称。 |
| Job 分组 | Job 所属的 Quartz 分组。 |
| Trigger | Trigger 名称;存在 Trigger 分组时以“分组.名称”展示。 |
| Cron 原始表达式 | Cron 任务的原始表达式;非 Cron 任务显示“-”。 |
| Quartz 原始状态 | Quartz 返回的原始 Trigger 状态。 |
| 触发类型 | 任务的 Trigger 类型。 |
| 是否自动注册 | 该任务是否由系统自动注册。 |
| 运行实例数 | 当前任务关联的执行实例数量。 |
| Job 类 | 后台任务对应的实现类。 |
技术信息主要用于与服务日志、代码实现和 Quartz 数据对应,普通业务排查通常先关注任务作用、运维提示和当前状态。
9. 查看集群节点
展开页面底部的 集群节点 区域,可以查看 Quartz 调度器实例状态。
| 字段 | 说明 |
|---|---|
| Quartz 实例 ID | Web/Quartz 调度器实例的唯一标识。 |
| 最近心跳 | 该实例最近一次向调度器数据库上报心跳的时间。 |
| 心跳间隔 | 实例配置的心跳周期。 |
| 状态 | 根据最近心跳时间和心跳间隔计算出的节点健康状态。 |
集群环境下,可将任务详情中的“当前执行实例 ID”与集群节点中的“Quartz 实例 ID”对应,确认任务运行在哪个 Web 实例上。
节点状态异常时,建议检查:
- 对应 Web 实例是否仍在运行;
- Web 实例与配置数据库之间的连接是否正常;
- 调度器线程和数据库连接池是否拥堵;
- 实例时间是否与其他节点保持同步;
- 服务日志中是否存在 Quartz 心跳或集群恢复相关错误。
10. 常见排查场景
10.1 任务显示“未启用”
- 打开任务详情,查看“启用条件”和“启用条件是否满足”。
- 判断当前部署是否具备任务要求的组件、环境标识或配置。
- 查看任务作用说明,确认该任务是否本就不适用于当前部署。
- 若按部署规划应当启用,再由管理员检查相关服务配置和启动参数。
“未启用”不一定代表故障。例如,仅用于特定组件或特定部署形态的任务,在其他环境显示未启用属于正常情况。
10.2 定时任务长时间没有触发
- 确认任务状态不是“已暂停”“阻塞”“异常”或“未启用”。
- 比较上次计划触发、下次计划触发和页面更新时间。
- 手动刷新后再次观察时间是否推进。
- 打开详情,核对 Cron 原始表达式、Trigger 和 Quartz 原始状态。
- 查看运维定位提示及对应 Web 服务日志。
10.3 任务长期处于“运行中”
先查看“调度/运行方式”。若任务描述为启动后立即执行并持续拉取消息、扫描或监听,则长期运行通常符合设计。
对于本应短时完成的周期任务,应进一步检查:
- 运行时长是否持续增加;
- 当前执行实例是否在线;
- 是否存在多个运行实例;
- 任务依赖的 Redis、Kafka、Elasticsearch、数据库或 Agent 是否响应缓慢;
- Web 服务日志是否出现超时、线程阻塞或连接池耗尽。
10.4 任务处于“阻塞”
阻塞通常表示同一 Job 已有执行实例运行,或任务受禁止并发策略约束。打开详情查看运行实例数和当前执行实例,并结合 Job 类及服务日志确认前序执行是否长时间未结束。
不要直接修改 Quartz 数据库表解除阻塞,以免破坏调度一致性。
10.5 任务处于“异常”
- 查看任务作用说明和运维定位提示。
- 核对当前执行实例 ID,并确认对应集群节点在线。
- 展开技术信息,记录 Quartz Job、Trigger、原始状态和 Job 类。
- 根据执行开始时间和计划触发时间查询对应 Web 实例日志。
- 检查任务依赖组件的连接和服务状态。
11. 使用建议与注意事项
- 后台任务是平台内部系统任务,不等同于用户创建的数据同步任务。
- 判断任务异常时,应同时查看启用条件、运行方式、当前状态和任务作用,避免将常驻任务误判为超时。
- 自动刷新会增加查询压力,生产环境不建议长期使用过高刷新频率。
- 页面数据来自 Quartz 任务和集群状态。页面显示正常不代表任务处理的业务结果一定正确,必要时仍需核对对应日志、告警和业务数据。
- 页面当前仅提供查看能力。需要暂停、恢复、手动执行或修复后台任务时,应按照平台运维流程处理。
- 不建议直接更新 Quartz 数据库中的 Job、Trigger、Fired Trigger 或调度器状态记录。
- 多节点部署中,应先根据当前执行实例 ID 定位具体 Web 节点,再查询该节点日志。
12. 当前能力边界
- 当前页面展示实时任务状态和集群心跳,不提供历史执行记录或执行成功率趋势。
- 当前页面不提供后台任务运行日志在线查看,日志需要在对应 Web 实例上查询。
- 当前页面不提供任务批量操作。
- 当前页面不提供暂停、恢复、重试、终止和手动触发等写操作。
- 集群节点区域当前展示实例 ID、最近心跳、心跳间隔和状态,不展示节点资源使用率。
- 状态和时间取决于最近一次页面查询;关闭自动刷新时需手动刷新。
- 账号可见范围及角色权限矩阵在现有材料中未明确,待以实际环境权限配置为准。