跳到主要内容
版本:v4.10

使用 IBM CDC 插件采集数据的任务异常处理

DB2 数据源数据任务订阅健康检查程序​

当数据任务发生如下情况,数据订阅将会被暂停:

  1. 数据任务被暂停,包括报错暂停与页面手动暂停,不包括可被自动重启的数据任务报错。
  2. 数据订阅/数据任务健康检查程序,当数据任务状态为暂停(不包括可被自动重启的任务报错暂停)、且数据订阅状态为运行中,订阅健康检查程序会暂停数据订阅。

注:数据任务自动重启根据执行逻辑执行完成,但数据任务还没有成功启动时,任务报错算作不可被自动重启的任务报错

数据源结构变化处理​

当数据源发生结构变化,按照操作步骤可恢复订阅与数据任务。

页面操作

  1. 暂停业务
  2. 在 DP 中暂停数据任务(正常暂停)
  3. 等待暂停完成
  4. 进行 DDL 操作
  5. 在 DP 任务中对发生 DDL 的源表的映射点击结构变化按钮
  6. 恢复业务
  7. 启动任务
  8. 在下游数据中检查是否结构变化被落实

命令行操作

  1. 暂停业务
  2. 在 DP 中暂停数据任务(正常暂停)
  3. 等待暂停完成
  4. 进行 DDL 操作
  5. 在发生结构变化后,到 IBM CDC 的 Datastore 执行命令行操作
  6. dmreaddtable 将这张表重新添加到订阅中
  7. dmdescribe 更新这张表的数据结构
  8. dmsetreplicationmethod 将这张表的同步方式修改为 refresh(全量刷新)
  9. dmsetreplicationmethod 将这张表的同步方式修改为 mirror (增量复制)
  10. dmmarktablecapturepoint 将这张表的同步起点设置为当前点
  11. 在 DataPipeline 数据链路页面刷新数据源表元数据
  12. 激活任务