版本:v4.5
使用 IBM CDC 插件采集数据的任务异常处理
DB2 数据源数据任务订阅健康检查程序
当数据任务发生如下情况,数据订阅将会被暂停:
- 数据任务被暂停,包括报错暂停与页面手动暂停,不包括可被自动重启的数据任务报错。
- 数据订阅/数据任务健康检查程序,当数据任务状态为暂停(不包括可被自动重启的任务报错暂停)、且数据订阅状态为运行中,订阅健康检查程序会暂停数据订阅。
注:数据任务自动重启根据执行逻辑执行完成,但数据任务还没有成功启动时,任务报错算作不可被自动重启的任务报错
数据源结构变化处理
当数据源发生结构变化,按照操作步骤可恢复订阅与数据任务。
页面操作
- 暂停业务
- 在 DP 中暂停数据任务(正常暂停)
- 等待暂停完成
- 进行 DDL 操作
- 在 DP 任务中对发生 DDL 的源表的映射点击结构变化按钮
- 恢复业务
- 启动任务
- 在下游数据中检查是否结构变化被落实
命令行操作
- 暂停业务
- 在 DP 中暂停数据任务(正常暂停)
- 等待暂停完成
- 进行 DDL 操作
- 在发生结构变化后,到 IBM CDC 的 Datastore 执行命令行操作
- dmreaddtable 将这张表重新添加到订阅中
- dmdescribe 更新这张表的数据结构
- dmsetreplicationmethod 将这张表的同步方式修改为 refresh(全量刷新)
- dmsetreplicationmethod 将这张表的同步方式修改为 mirror (增量复制)
- dmmarktablecapturepoint 将这张表的同步起点设置为当前点
- 在 DataPipeline 数据链路页面刷新数据源表元数据
- 激活任务