版本:v3.7
数据源结构变化-字段类型、精度、标度变化
DP 目前已经支持的结构变化类型包括源端 Drop 表,源端增加列和源端删除列。为了适应支持更多的源端 DDL 啊,DP 在 V3.1 版本新增了源端字段类型、精度、标度的变化的策略。
针对源端 DDL 变化,DP 内部的处理逻辑如下:
- 获取源端 DDL 变化,目前通过记录源端数据的 Schema,采用 Schema Diff 的方式,比较获得源端 DDL 的变化
- 当检测到 DDL 变化后, 会根据变化后的字段类型,或者字段的精度,标度,重新去节点的语义映射策略里去匹配,如果在任务,链路或者节点层定义了节点语义映射策略,就依照这个去匹配,执行新的语义映射,如果没有定义, 则使用软件默认的语义映射规则执行
- 当选择按照源的字段类型变化执行到目的地的策略后,会先更新 DP 中的数据映射
- 更新完数据映射后,再向目的地提交 Alter Table,修改目的地的 Schema
- 如果修改成功,则继续同步;如果修改失败,则报错暂停。
信息
由上面的步骤可以看出,当前的 DDL 变化是异步的。因此在使用中有几点希望可以尽量避免。
- 上游当有比较频繁的 DDL,超过 Diff 的处理速度时,可能会存在捕捉不到的风险。