跳到主要内容
版本:v4.24

无标题文档

功能说明​

主环境发生突发故障时,DataPipeline 可在灾备环境中恢复已有同步任务。恢复流程以灾备库保存的目标端成功写入进度 sink_offset 为依据,将对应位点回写到运行时 offset 表,并恢复需要的 Agent 订阅和解析进度。灾备任务随后从回写位点继续读取,补写故障前已读取但尚未成功写入目标端的数据。

恢复可能重复读取、重复投递已处理数据。目标端须具备适当的主键、幂等写入或去重措施;本功能不承诺端到端 Exactly Once。进度生成周期、灾备数据复制延迟及源端日志保留情况共同决定实际可恢复范围。

适用范围与前提​

  1. 使用 DP Runtime,灾备环境已具备可用的任务配置、源端连接、目标端连接及运行资源。当前技术设计涉及 MySQL、PostgreSQL、GaussDB、Oracle LogMiner/ORAGENT、Kafka、Inceptor 等连接器,并设计了 DB2 IBM CDC、OceanBase Log Agent 的 Agent 进度恢复;具体节点与版本应以正式发布兼容清单和专项验收为准。
  2. 生产任务已开启进度生成,SINK_OFFSET_GENERATE_INTERVAL_MS 必须大于 0;灾备同步包含 sink_offset 表及任务所需配置。若历史任务是在启用该参数之前创建,按部署要求重新激活并确认产生进度,否则可能无法恢复。
  3. 源端仍保留从恢复位点读取所需的日志或数据。缺少可用 sink_offset、源日志已清理或 Agent 无法取得有效起点的任务,不能仅靠自动恢复补齐,需单独处理。
  4. 准备所有源任务使用的资源组名称,以及各资源组在灾备库对应的 offset 表 schema 和表名。多个资源组可指向同一张表,但请求中不能遗漏资源组。
  5. 恢复应由具有系统维护权限的人员执行。先确认主环境不再承担同一批任务写入,避免主、灾备环境同时写入目标端;具体切换与网络隔离步骤由部署方案确定。

恢复操作​

  1. 确认灾备库中的任务配置和 sink_offset 已同步到预期时间点,并记录受影响任务及其资源组。检查源端日志保留情况、目标端写入状态和灾备环境连接。
  2. 在灾备环境调用 POST /v3/system/kafka/recover-from-backup 提交异步恢复。请求体中的 resourceGroupInfos 必须覆盖所有源任务使用的资源组;offsetSchema、offsetTable 指向灾备环境内对应的运行时进度表。接口认证信息由部署管理员提供,不写入请求文档或操作日志。
{
"resourceGroupInfos": [
{
"name": "<资源组名称>",
"offsetSchema": "<offset表所在schema>",
"offsetTable": "<offset表名>"
}
]
}
  1. 轮询 GET /v3/system/kafka/recover-status,等待 running=false。检查 success、lastException 和 failedTasks;如存在失败任务,再查询 GET /v3/system/kafka/recover-status/failed-details,结合服务日志定位具体步骤和原因。success=true 或步骤显示 FINISHED 只表示整体流程结束,不能单独证明所有任务恢复成功。
  2. 对成功恢复的任务,确认 Agent 订阅与解析进度、任务配置和数据 Topic 已准备就绪,再启动灾备侧任务。失败任务先处理进度缺失、资源组遗漏、Kafka/Agent 连接异常等原因,确认可重读后再恢复或重新初始化。
  3. 任务启动后核对源端与目标端数据:检查任务状态、读取和写入进度、积压、错误记录,以及目标表主键样本和行数。对于故障时存在缓存或未写入数据的任务,应重点确认这些数据最终补写,并观察后续新增数据能否继续同步。

异常处理与注意事项​

  • 某任务缺少进度:检查生产侧进度生成开关、历史任务是否重新激活、灾备库 sink_offset 是否包含该任务,以及请求是否覆盖其资源组。没有可用进度时停止自动恢复判断,制定重新初始化方案。
  • 源日志无法回溯:确认 Binlog、WAL、SCN、Agent 订阅或文件仍可从回写位点读取。位点已过期时不能以最新位点直接替代,否则可能跳过数据。
  • Agent 恢复失败:查看失败任务详情和 Agent 日志,检查对应节点的 Kafka、ZooKeeper、订阅与权限。测试报告记录 Oracle Agent 相关修复,但其他 Agent 节点、Agent HA 组合仍需按正式兼容清单和实际环境验证。
  • 目标端出现重复数据:恢复允许重读。检查目标表键、写入策略和去重规则,并核对重复范围;不要将“无数据丢失”理解为“不会重复”。
  • 部分任务成功:恢复流程可继续处理其他任务。逐任务核对 failedTasks 和最终目标数据,不以整体状态代替任务级验收。