跳到主要内容
版本:v4.17

结构变化策略

结构变化策略是当数据源数据结构发生变化时,系统将为您执行的策略,能够有效避免由于数据源结构变化使任务暂停带来的影响。

关于此功能​

我们目前针对主要的数据源结构变化,提供了不同的应对策略,以避免任务暂停。并且您可以根据实际场景的需要为每一个节点选择独立的结构变化策略。

同时由于结构变化策略,非常依赖于源端数据库的读取方式,以及目的地端数据库。因此本版本对结构变化策略有一个较大的重构。您需要在系统中,选定源和目的地后,才会弹出相应的结构变化策略选项。同时变更源端的读取方式,可能会影响到结构变化策略的执行情况。

情况选项选项说明
数据源删除正在同步的表暂停遇到此种情况暂停数据任务
删除映射并删除数据目的地的表和数据删除对应数据链路中的数据映射,并删除数据目的地的表(drop table)
删除映射并保留数据目的地的表和数据删除对应数据链路中的数据映射,但不对数据目的地表中数据进行操作
持续扫描并保留数据目的地的表和数据不删除对应数据链路中的数据映射,不对数据目的地表中数据进行操作,保留任务可能因为数据表被误删后恢复同步的可能性
数据源清空正在同步的表的数据暂停遇到此种情况暂停数据任务
忽略,不在目的地清空数据忽略该 DDL,不在目的地清空数据
自动在目的地清空同步的表的数据执行该 DDL,会在目的地清空该表或者路径下的所有表
数据源创建了符合下列正则表达式规则的表暂停遇到此种情况暂停数据任务
忽略,不创建符合规则的映射忽略,当检测到符合规则的 DDL,不在系统中创建该映射,同时也不同步该表的数据
自动创建符合规则的映射当检测到符合规则的 DDL,在系统中创建该映射,同时同步该表的数据
数据源重命名正在同步的表暂停遇到此种情况暂停数据任务
等待相关结构变化,执行全量初始化,恢复索引权限数据源表被重命名后,任务将持续扫描该名称的数据表是否被加(重命名)回来,在扫描到该表后,删除重建目的地表,重新同步全量数据,恢复目的地表的索引、权限(只读)
等待相关结构变化,自定义处理模式数据源表被重命名后,任务将持续扫描该名称的数据表是否被加(重命名)回来,在您选择此选项后,可自定义在目的地如何处理结构变化
数据源正在同步的表新增字段暂停遇到此种情况暂停数据任务
忽略新增字段数据目的地不新增该字段
为新增字段建立映射,并同步新增字段及默认值根据新增字段的信息自动建立数据映射,数据目的地应用新的数据映射同步数据,新增该字段及默认值(alter table)
为新增字段建立映射,并同步新增字段。忽略默认值根据新增字段的信息自动建立数据映射,数据目的地应用新的数据映射同步数据,新增该字段(alter table)
数据源正在同步的表中字段被删除暂停遇到此种情况暂停数据任务
删除映射并删除目的地表中的字段和数据删除对应数据链路中的字段映射,删除目的地表中的该字段(alter table)
删除映射但保留目的地表中的字段和数据,并写入空值删除对应数据链路中的字段映射,但不对数据目的地表结构和历史数据进行操作,后续同步向该字段写入空值
数据源正在同步的表中字段发生类型/精度/标度变化暂停遇到此种情况暂停数据任务
忽略,按照当前字段映射继续同步继续按照当前的语义映射规则继续同步数据任务,如果该语义规则导致数据写入目的地失败,则会因为目的地写入失败而暂停数据任务
按照源的字段变化,重新匹配语义映射规则,继续同步按照源的字段变化,重新按照节点或者链路选择的语义映射策略匹配新的语义映射规则,继续同步,如果目的端字段修改失败,则映射修改成功,任务报错。如果目的地端修改成功,则继续写入,此时如果写入数据成功,则继续,如果写入失败,则因为目的地写入失败而暂停数据任务。
数据源正在同步的表中,字段被重命名暂停遇到此种情况暂停数据任务
忽略,不在目的地重命名该字段忽略该 DDL,不修改目的地的该字段的名称
自动重命名该字段执行该 DDL,修改目的地的该字段的名称
数据源正在同步的表移除分区暂停
忽略移除分区
在目的地移除分区程序仅处理 RANGE、LIST、RANGE COLUMNS、LIST COLUMNS 类型的分区,目的地的其他分区类型不会被程序处理。
数据源正在同步的表清空分区暂停
忽略清空分区
在目的地清空分区程序仅处理 RANGE、LIST、RANGE COLUMNS、LIST COLUMNS 类型的分区,目的地的其他分区类型不会被程序处理。

表格-结构变化策略选项说明​

源端读取方式目的地端选项
可以获取到某个类型的 DDL可以执行该类型的 DDL暂停,忽略,跟随 DDL
不可以执行该类型的 DDL暂停,忽略
不可以获取到某个类型的 DDL默认执行忽略,不提供该策略的配置。

场景限制说明​

Create table​

源端支持解析的节点范围:

Mysql 和 TeleDB 的 binlog 读取方式,Oralce 的 Logminer 读取方式。

目的地支持执行 DDL 的节点范围:

所有的 RDBMS 关系型数据库支持。

信息

其他说明:

使用通配符表达式%配置。例如%ABC%,将解析所有建表中包含 ABC,且不是以 ABC 开头或者结尾的符合规则的表。

Drop table​

源端支持的节点范围:

全部节点

目的地支持执行 DDL 的节点范围:

目的地会根据管理要求,提供暂停,持续扫描,删除表或者删除映射的处理。

Truncate table​

源端支持解析的节点范围:

Mysql 和 TeleDB 的 binlog 读取方式,Oralce 的 Logminer、采集代理 读取方式。

目的地支持执行的 DDL 范围:

目的地会根据管理要求,提供暂停,忽略,执行 truncate table 的处理。

Rename table​

源端支持解析的节点范围:

Mysql 的 binlog 读取方式,Oralce 的 采集代理 读取方式。

目的地支持执行的节点范围:

目的地支持Oracle、MySQL、OushuDB、达梦8、MS SQL Server、IBM Db2 LUW。

目的地处理步骤逻辑:

序号步骤/功能逻辑说明
1DDL解析器解析识别数据源的DDL
2DDL识别-正在同步的表被重命名1. 通过识别:rename 正在同步的数据表 至其他表 的DDL语句来判断结构变化触发逻辑;
2. 对于不在同步列表中的表,识别其DDL后判断,是否有符合持续扫描情况的DDL;
3. 记录日志,触发预警(如有)
3策略选项-暂停暂停数据任务,显示映射DIFF,记录日志
4策略选项-重命名目的地表重命名目的地表,继续同步
5策略选项-更新源表映射,继续同步把映射中数据源表名字变成rename后的名字,继续同步
6策略选项-等待相关结构变化1. 等这张表被加回来后处理,处理完成后继续同步
2. 等待没有超时
7DDL识别-有数据表被重命名为正在同步的表1. 通过识别:rename 其他表 to 正在同步的表,来判断触发逻辑;
2. 需要可以调这个判断轮询的时间间隔,当前版本可以作为环境变量,后续可以加到系统参数里
3. 记录日志,触发预警(如有)
8对比当前结构与映射结构1. 拿到最新的数据表的结构,与映射实际保存的结构进行对比;
2. 识别当前结构变化支持选项的变化:添加字段、删除字段、字段重命名(视同删除字段后新增字段)、修改字段类型/精度/标度
3. 字段默认值、非空条件、索引、触发器等当前不支持的结构变化类型不比较
9对结构有变化的处理有变化场景:数据源通过表替换的方式做了结构变化
10对结构无变化的处理无变化场景:数据源通过表替换的方式更新了数据
11恢复权限索引1. 读取目的地表的索引、权限信息并保存(恢复权限类型仅限只读,索引类型-所有索引)
2. 等待全量数据恢复完成
3. 添加权限、索引
12重新同步恢复全量数据1. 在目的地新建表 new_tbl(新结构)
2. 重新同步全量数据至 new_tbl
3. 给新表添加索引、权限(如选择了恢复索引权限)
4. 重命名历史表 rename org_tbl to org_tbl_bak
5. 重命名新表 rename new_tbl to org_tbl
6. 删除历史表备份 drop org_tbl
说明:
+ 为什么不选择直接删除历史表,而是rename?
- 如果错误了手动恢复更容易一些
+ 为什么将重新同步全量数据放在第二步?
- 尽量使rename操作后新表达到可用状态,减少结构变更影响的时间窗口

异常情况处理:​

对于该策略的处理异常情况,在产品操作指南与故障处理指南中添加说明:

为了保证数据一致性,请您执行:

  1. 删除数据映射
  2. 选择该数据表至映射,不创建目的地映射
  3. 刷新映射已选数据表数据结构
  4. 创建目的地映射
  5. 在数据任务中选择该映射
  6. 配置该映射的同步起点为“全量初始化”
  7. 修改任务执行方式-同步起点为“分映射指定起点”
  8. 激活任务
  9. 手动调整目的地表的索引、权限

Add column​

源端支持的节点范围:

全部节点

目的地支持执行的 DDL 范围:

目的地会根据管理要求,提供暂停,忽略,执行 add column 的处理。举例,像 maxcompute,hive 和文件类型的节点,oss,hdfs,ftp,sftp,当文件格式为 csv 时,其实是没有顺序的, 因此 add column 会默认增加到最后一列,此时有可能数据同步会导致串行。因此这一类型的目的地,不支持执行 add column 的 ddl。

提示

注意:当前不分数据库支持同步默认值,但是不支持同步默认值里带有函数。遇到这种场景,需要用户在目的地根据需要创建。然后执行的时候,自动会自动忽略该DDL。

Drop column​

源端支持的节点范围:

全部节点

目的地支持执行的 DDL 范围:

目的地会根据管理要求,提供暂停,忽略,执行 drop column 的处理。举例,像 maxcompute,redis,hive 和文件类型的节点,oss,hdfs,ftp,sftp,当文件格式为 csv 时,其实是没有顺序的, 因此 drop column 可能会发生数据错误,因此有的数据库并不支持执行 drop column 的 ddl。

Rename column​

源端支持解析的节点范围:

Mysql 和 TeleDB 的 binlog 读取方式,Oralce 的 Logminer 读取方式。

目的地支持执行的 DDL 范围:

除 kafka,mongodb,redis,hbase,自定义节点,sftp,ftp,inceptor,oss 之前的目的地均可以执行 rename column 的操作。

Alter table (字段类型,精度,标度变化)​

源端支持的节点范围:

全部节点

目的地支持执行的 DDL 范围:

目的地会根据管理要求,提供暂停,忽略,执行 alter table 的处理。如果目的地数据库本身不支持,将只提供暂停和忽略选项。

分节点支持情况说明​

数据源节点支持的结构变化策略​

MySQL 数据源支持的结构变化策略​

源结构变化读取方式
数据源删除正在同步的表JDBC、BINLOG
数据源清空正在同步的表的数据BINLOG
数据源创建了符合下列通配符表达式规则的表BINLOG
数据源重命名正在同步的表BINLOG
数据源正在同步的表新增字段JDBC、BINLOG
数据源正在同步的表中字段被删除JDBC、BINLOG
数据源正在同步的表中的字段被重命名BINLOG
数据源正在同步的字段变化(类型、精度、标度)JDBC、BINLOG

Oracle 数据源支持的结构变化策略​

源结构变化读取方式注意事项
数据源删除正在同步的表采集代理、LogMiner、JDBC
数据源清空正在同步的表的数据采集代理、LogMiner
数据源创建了符合下列通配符表达式规则的表LogMiner
数据源重命名正在同步的表采集代理
数据源正在同步的表新增字段采集代理、LogMiner、JDBC
数据源正在同步的表中字段被删除采集代理、LogMiner、JDBC
数据源正在同步的表中的字段被重命名LogMiner
数据源正在同步的字段变化(类型、精度、标度)采集代理、LogMiner、JDBC
数据源正在同步的表移除分区采集代理、LogMiner程序仅捕获 RANGE、LIST、RANGE COLUMNS、LIST COLUMNS 类型的分区,不会被捕获其他分区类型。
数据源正在同步的表清空分区采集代理、LogMiner程序仅捕获 RANGE、LIST、RANGE COLUMNS、LIST COLUMNS 类型的分区,不会被捕获其他分区类型。

OceanBase 数据源结构变化策略​

OceanBase 数据源结构变化注意事项
数据源删除正在同步的表
数据源清空正在同步的表的数据
数据源重命名正在同步的表仅当数据目的地是 mysql、oracle、oushudb、sqlserver、dameng、db2 时,有此选项
数据源正在同步的表新增字段
数据源正在同步的表中字段被删除
数据源正在同步的表中的字段被重命名
数据源正在同步的字段变化(类型、精度、标度)

Gbase 8s 数据源支持的结构变化策略及操作流程​

源表结构变化支持的读取方式
数据源删除正在同步的表JDBC、Gbase 8s CDC
数据源清空正在同步的表的数据Gbase 8s CDC
数据源正在同步的表新增字段JDBC、Gbase 8s CDC
数据源正在同步的表中字段被删除JDBC、Gbase 8s CDC
数据源正在同步的字段变化(类型、精度、标度)JDBC、Gbase 8s CDC

实时数据捕获集成了官方提供的 Gbase 8s CDC 实现,CDC 使用有如下限制:

  1. 使用 CDC 必须要在源库开启日志补全(执行cdc_set_fullrowlogging()函数)。但由于Gbase 8s 数据库限制,开启日志补全后将不能执行 DDL。
  2. CDC 中无法获取除 TRUNCATE 外的 DDL,在源库执行 DDL 后,需要重启捕获查询系统视图获取元数据。
  3. 执行 DDL 前需要停 CDC,否则执行某些 DDL(如修改 Varchar 长度)后 CDC 解析报错。
  4. 基于 Gbase 8s 数据库设计,当发生某些 DDL 之后,会引起表的 tableid 发生变化,这时 Gbase 8s API 会把表中的历史数据重新解析一遍。对用户来讲,现象是历史数据会重新读一遍。本质上来讲,引起 tableid 变化的操作都会引发此现象。已知具体会引起 tableid 变化的 DDL 操作如下,需要注意的是只要 table id 发生变化,均会导致此现象:
    1. 新增/删除列:
      1. 新增/删除的列的数据类型包含 TEXT / BYTE / BLOB / CLOB / LVARCHAR / JSON / BSON
      2. 表中已存在 TEXT / BYTE / BLOB / CLOB / LVARCHAR / JSON / BSON 类型的数据列,新增删除其他数据类型列
    2. 改变数据类型
    3. 改变精度标度

基于以上限制,使用 Gbase 8s CDC 读取模式时,我们提供了三种流程执行结构变化,不按流程操作会有丢数或者任务报错暂停的风险。其中关闭表补全 SQL 如下:

Database syscdcv1;
execute function cdc_set_fullrowlogging ("database_name:schema_name.table_name", 0);
流程一:不丢数,不重读历史数据​

流程二:不丢数,但执行引起 tableid 变化的 DDL后,会重读历史数据​

流程三:不重读历史数据,但停任务期间的历史数据丢失,需采取其他手段补回,如新建任务用 JDBC 方式补回停任务期间的数据​

注意事项​
信息
  1. 执行 Truncate DDL 可不停止任务;
  2. 停止Gbase 8s CDC 期间执行的多次相同类型的 DDL (Truncate 除外)在任务监控统计中 DDL 统计仅会被统计一次。

�

Gbase 8a 数据源支持的结构变化策略​

源表结构变化支持的读取方式
数据源删除正在同步的表JDBC
数据源正在同步的表新增字段JDBC
数据源正在同步的表中字段被删除JDBC
数据源正在同步的字段变化(类型、精度、标度)JDBC

ClickHouse 数据源支持的结构变化策略​

源表结构变化支持的读取方式
数据源删除正在同步的表JDBC
数据源正在同步的表新增字段JDBC
数据源正在同步的表中字段被删除JDBC
数据源正在同步的字段变化(类型、精度、标度)JDBC

PolarDB X -1.0 数据源支持的结构变化策略​

PolarDB 节点是分布式数据库,并且增量采集时,会在每个分库上产生一条DDL,因此对于数据采集而言会存在多条DDL,因此当采集和消费时,有可能会存在进度不一致的情况,当前DP采用悲观锁的方案处理分区DDL,目前还在alpha阶段,待后续充分验证后,将正式release。当前建议的方式,需要生产上配合,做DDL时,最好暂停上游的业务,避免大量的DML写入,从而概率性产生乱序问题。

数据目的地节点支持的结构变化策略​

MySQL 目的地支持的结构变化策略​

源结构变化MySQL 目的地结构变化策略注意事项
数据源删除正在同步的表暂停
持续扫描并保留数据目的地表和数据
删除映射并保留数据目的地表和数据
数据源清空正在同步的表的数据暂停
忽略,不在目的地清空数据
自动在目的地清空同步的表的数据
数据源创建了符合下列通配符表达式规则的表暂停
忽略,不创建符合规则的映射
自动创建符合规则的映射
数据源重命名正在同步的表暂停
等待相关结构变化,执行全量初始化,恢复索引权限数据源表被重命名后,任务将持续扫描该名称的数据表是否被加(重命名)回来。在扫描到该表后,删除重建目的地表,重新同步全量数据,恢复目的地表的索引、权限(只读)
等待相关结构变化,自定义处理模式数据源表被重命名后,任务将持续扫描该名称的数据表是否被加(重命名)回来。在您选择此选项后,可自定义在目的地如何处理结构变化。
+ 是否恢复索引、权限
+ 相关表有结构变化时,删除重建目的地表,重新同步全量数据
+ 相关表无结构变化时,可选择删除重建目的地表,重新同步全量数据 或者 继续同步增量数据
数据源正在同步的表新增字段暂停
忽略新增字段
为新增字段建立映射并同步新增字段,同步默认值
为新增字段建立映射并同步新增字段,忽略默认值
数据源正在同步的表中字段被删除暂停
删除映射但保留目的地表中字段和数据,并写入空值
删除映射并删除目的地表中字段和数据
数据源正在同步的表中的字段被重命名暂停
忽略,不在目的地重命名该字段
自动重命名该字段
数据源正在同步的字段变化(类型、精度、标度)暂停
忽略,按照当前字段映射继续同步
按照源的字段变化,重新匹配语义映射规则,继续同步

Oracle 目的地支持的结构变化策略​

源结构变化Oracle 目的地结构变化策略注意事项
数据源删除正在同步的表暂停
持续扫描并保留数据目的地表和数据
删除映射并保留数据目的地表和数据
数据源清空正在同步的表的数据暂停
忽略,不在目的地清空数据
自动在目的地清空同步的表的数据
数据源创建了符合下列通配符表达式规则的表暂停
忽略,不创建符合规则的映射
自动创建符合规则的映射
数据源重命名正在同步的表暂停
等待相关结构变化,执行全量初始化,恢复索引权限数据源表被重命名后,任务将持续扫描该名称的数据表是否被加(重命名)回来。在扫描到该表后,删除重建目的地表,重新同步全量数据,恢复目的地表的索引、权限(只读)
等待相关结构变化,自定义处理模式数据源表被重命名后,任务将持续扫描该名称的数据表是否被加(重命名)回来。在您选择此选项后,可自定义在目的地如何处理结构变化。
+ 是否恢复索引、权限
+ 相关表有结构变化时,删除重建目的地表,重新同步全量数据
+ 相关表无结构变化时,可选择删除重建目的地表,重新同步全量数据 或者 继续同步增量数据
数据源正在同步的表新增字段暂停
忽略新增字段
为新增字段建立映射并同步新增字段,同步默认值
为新增字段建立映射并同步新增字段,忽略默认值
数据源正在同步的表中字段被删除暂停
删除映射但保留目的地表中字段和数据,并写入空值
删除映射并删除目的地表中字段和数据
数据源正在同步的表中的字段被重命名暂停
忽略,不在目的地重命名该字段
自动重命名该字段
数据源正在同步的字段变化(类型、精度、标度)暂停
忽略,按照当前字段映射继续同步
按照源的字段变化,重新匹配语义映射规则,继续同步
数据源正在同步的表移除分区暂停
忽略移除分区
在目的地移除分区程序仅处理 RANGE、LIST、RANGE COLUMNS、LIST COLUMNS 类型的分区,目的地的其他分区类型不会被程序处理。
数据源正在同步的表清空分区暂停
忽略清空分区/
在目的地清空分区程序仅处理 RANGE、LIST、RANGE COLUMNS、LIST COLUMNS 类型的分区,目的地的其他分区类型不会被程序处理。

DaMeng 目的地支持的结构变化策略​

源结构变化DaMeng** 目的地结构变化策略**注意事项
数据源删除正在同步的表暂停
持续扫描并保留数据目的地表和数据
删除映射并保留数据目的地表和数据
数据源清空正在同步的表的数据暂停
忽略,不在目的地清空数据
自动在目的地清空同步的表的数据
数据源创建了符合下列通配符表达式规则的表暂停
忽略,不创建符合规则的映射
自动创建符合规则的映射
数据源重命名正在同步的表暂停
等待相关结构变化,执行全量初始化,恢复索引权限数据源表被重命名后,任务将持续扫描该名称的数据表是否被加(重命名)回来。在扫描到该表后,删除重建目的地表,重新同步全量数据,恢复目的地表的索引、权限(只读)
等待相关结构变化,自定义处理模式数据源表被重命名后,任务将持续扫描该名称的数据表是否被加(重命名)回来。在您选择此选项后,可自定义在目的地如何处理结构变化。
+ 是否恢复索引、权限
+ 相关表有结构变化时,删除重建目的地表,重新同步全量数据
+ 相关表无结构变化时,可选择删除重建目的地表,重新同步全量数据 或者 继续同步增量数据
数据源重命名正在同步的表暂停
等待相关结构变化,执行全量初始化,恢复索引权限数据源表被重命名后,任务将持续扫描该名称的数据表是否被加(重命名)回来。在扫描到该表后,删除重建目的地表,重新同步全量数据,恢复目的地表的索引、权限(只读)
等待相关结构变化,自定义处理模式数据源表被重命名后,任务将持续扫描该名称的数据表是否被加(重命名)回来。在您选择此选项后,可自定义在目的地如何处理结构变化。
+ 是否恢复索引、权限
+ 相关表有结构变化时,删除重建目的地表,重新同步全量数据
+ 相关表无结构变化时,可选择删除重建目的地表,重新同步全量数据 或者 继续同步增量数据
数据源正在同步的表新增字段暂停
忽略新增字段
为新增字段建立映射并同步新增字段,同步默认值
为新增字段建立映射并同步新增字段,忽略默认值
数据源正在同步的表中字段被删除暂停
删除映射但保留目的地表中字段和数据,并写入空值
删除映射并删除目的地表中字段和数据
数据源正在同步的表中的字段被重命名暂停
忽略,不在目的地重命名该字段
自动重命名该字段
数据源正在同步的字段变化(类型、精度、标度)暂停
忽略,按照当前字段映射继续同步
按照源的字段变化,重新匹配语义映射规则,继续同步

OceanBase 目的地支持的结构变化策略​

源结构变化OceanBase 目的地结构变化策略注意事项
数据源删除正在同步的表暂停
持续扫描并保留数据目的地表和数据
删除映射并保留数据目的地表和数据
数据源清空正在同步的表的数据暂停
忽略,不在目的地清空数据
自动在目的地清空同步的表的数据
数据源创建了符合下列通配符表达式规则的表暂停
忽略,不创建符合规则的映射
自动创建符合规则的映射
数据源正在同步的表新增字段暂停
忽略新增字段
为新增字段建立映射并同步新增字段,同步默认值
为新增字段建立映射并同步新增字段,忽略默认值
数据源正在同步的表中字段被删除暂停
删除映射但保留目的地表中字段和数据,并写入空值
删除映射并删除目的地表中字段和数据
数据源正在同步的表中的字段被重命名暂停
忽略,不在目的地重命名该字段
自动重命名该字段
数据源正在同步的字段变化(类型、精度、标度)暂停
忽略,按照当前字段映射继续同步
按照源的字段变化,重新匹配语义映射规则,继续同步

ArgoDB 目的地支持的结构变化策略​

源结构变化ArgoDB 目的地结构变化策略注意事项
数据源删除正在同步的表暂停
持续扫描并保留数据目的地表和数据
删除映射并保留数据目的地表和数据
数据源清空正在同步的表的数据暂停
忽略,不在目的地清空数据
自动在目的地清空同步的表的数据
数据源正在同步的表新增字段暂停
忽略新增字段
为新增字段建立映射并同步新增字段,忽略默认值
数据源正在同步的表中字段被删除暂停
删除映射但保留目的地表中字段和数据,并写入空值
删除映射并删除目的地表中字段和数据由于 ArgoDB 不支持删除分区键、分桶键,当数据源对应字段被删除时,任务将自动暂停。 ArgoDB ORC 事务表、ORC 非事务表不支持删除表字段,当数据源对应字段被删除时,任务将自动暂停。 您可以在【失败 DDL】模块中选择忽略此 DDL,并恢复任务运行。
数据源正在同步的表中的字段被重命名暂停ArgoDB 数据库不支持字段的重命名。当任务暂停后,您可以在数据库新增字段、数据迁移,并在数据链路刷新元数据并重新匹配字段映射后,修改策略为忽略,或者直接修改策略为忽略,并恢复任务运行。
忽略,不在目的地重命名该字段
数据源正在同步的字段变化(类型、精度、标度)暂停ArgoDB 数据库不支持字段变化。当任务暂停后,您可以在数据库新增字段、数据迁移,并在数据链路刷新元数据并重新匹配字段映射后,修改策略为忽略,或者直接修改策略为忽略,并恢复任务运行。
忽略,按照当前字段映射继续同步

TDSQL MySQL 目的地支持的结构变化策略​

源结构变化TDSQL MySQL 目的地结构变化策略注意事项
数据源删除正在同步的表暂停
持续扫描并保留数据目的地表和数据
删除映射并保留数据目的地表和数据
数据源清空正在同步的表的数据暂停
忽略,不在目的地清空数据
自动在目的地清空同步的表的数据
数据源正在同步的表新增字段暂停
忽略新增字段
为新增字段建立映射并同步新增字段,同步默认值
为新增字段建立映射并同步新增字段,忽略默认值
数据源正在同步的表中字段被删除暂停
删除映射但保留目的地表中字段和数据,并写入空值
删除映射并删除目的地表中字段和数据对于分布式实例,TDSQL MYSQL数据库不支持删除【分表键】字段,对【分表键】字段的删除将导致任务暂停。您可以在【失败 DDL】模块中选择忽略此 DDL,并恢复任务运行。
数据源正在同步的表中的字段被重命名暂停
忽略,不在目的地重命名该字段
自动重命名该字段对于分布式实例,TDSQL MYSQL数据库不支持重命名「分表键」字段,对「分表键」字段的重命名将导致任务暂停。您可以在【失败 DDL】模块中选择忽略此 DDL,并恢复任务运行。
数据源正在同步的字段变化(类型、精度、标度)暂停
忽略,按照当前字段映射继续同步
按照源的字段变化,重新匹配语义映射规则,继续同步

PostgreSQL 目的地支持的结构变化策略​

源结构变化PostgreSQL 目的地结构变化策略注意事项
数据源删除正在同步的表暂停
持续扫描并保留数据目的地表和数据
删除映射并保留数据目的地表和数据
数据源清空正在同步的表的数据暂停
忽略,不在目的地清空数据
自动在目的地清空同步的表的数据
数据源创建了符合下列通配符表达式规则的表暂停
忽略,不创建符合规则的映射
自动创建符合规则的映射
数据源正在同步的表新增字段暂停
忽略新增字段
为新增字段建立映射并同步新增字段,同步默认值
为新增字段建立映射并同步新增字段,忽略默认值
数据源正在同步的表中字段被删除暂停
删除映射但保留目的地表中字段和数据,并写入空值
删除映射并删除目的地表中字段和数据
数据源正在同步的表中的字段被重命名暂停
忽略,不在目的地重命名该字段
自动重命名该字段
数据源正在同步的字段变化(类型、精度、标度)暂停
忽略,按照当前字段映射继续同步
按照源的字段变化,重新匹配语义映射规则,继续同步

opengauss 目的地支持的结构变化策略​

源结构变化opengauss 目的地结构变化策略注意事项
数据源删除正在同步的表暂停
持续扫描并保留数据目的地表和数据
删除映射并保留数据目的地表和数据
数据源清空正在同步的表的数据暂停
忽略,不在目的地清空数据
自动在目的地清空同步的表的数据
数据源创建了符合下列通配符表达式规则的表暂停
忽略,不创建符合规则的映射
自动创建符合规则的映射
数据源正在同步的表新增字段暂停
忽略新增字段
为新增字段建立映射并同步新增字段,同步默认值
为新增字段建立映射并同步新增字段,忽略默认值
数据源正在同步的表中字段被删除暂停
删除映射但保留目的地表中字段和数据,并写入空值
删除映射并删除目的地表中字段和数据
数据源正在同步的表中的字段被重命名暂停
忽略,不在目的地重命名该字段
自动重命名该字段
数据源正在同步的字段变化(类型、精度、标度)暂停
忽略,按照当前字段映射继续同步
按照源的字段变化,重新匹配语义映射规则,继续同步

Greenplum 目的地支持的结构变化策略​

源结构变化Greenplum 目的地结构变化策略注意事项
数据源删除正在同步的表暂停
持续扫描并保留数据目的地表和数据
删除映射并保留数据目的地表和数据
数据源清空正在同步的表的数据暂停
忽略,不在目的地清空数据
自动在目的地清空同步的表的数据
数据源创建了符合下列通配符表达式规则的表暂停
忽略,不创建符合规则的映射
自动创建符合规则的映射
数据源正在同步的表新增字段暂停
忽略新增字段
为新增字段建立映射并同步新增字段,同步默认值
为新增字段建立映射并同步新增字段,忽略默认值
数据源正在同步的表中字段被删除暂停
删除映射但保留目的地表中字段和数据,并写入空值
删除映射并删除目的地表中字段和数据
数据源正在同步的表中的字段被重命名暂停
忽略,不在目的地重命名该字段
自动重命名该字段
数据源正在同步的字段变化(类型、精度、标度)暂停
忽略,按照当前字段映射继续同步
按照源的字段变化,重新匹配语义映射规则,继续同步

StarRocks 目的地支持的结构变化策略​

说明:表发生结构变化操作时,会修改表的元数据,此时 StarRocks 表的 tablet 处于非 nomal状态。如果表发生连续结构变化,tablet 非 nomal 状态下无法操作此表,数据库会抛错,导致 DataPipeline 任务报错,影响任务连续性。需要在 DataPipeline connectdp( 或 sinkdp)部署脚本中添加参数:STAR_ROCKS_STREAM_LOAD_MAX_REDIRECT_TIMES = 10,用于设置结构变化异常时的重试次数。

源结构变化StarRocks 目的地结构变化策略注意事项
数据源删除正在同步的表暂停
持续扫描并保留数据目的地表和数据
删除映射并保留数据目的地表和数据
数据源清空正在同步的表的数据暂停
忽略,不在目的地清空数据
自动在目的地清空同步的表的数据
数据源正在同步的表新增字段暂停
忽略新增字段
为新增字段建立映射并同步新增字段,忽略默认值暂不支持为聚合模型新增字段,为聚合模型新增字段将导致任务暂停。您可以在数据库新增字段,并在数据链路刷新元数据并应用结构变化后,在【失败 DDL】模块中选择忽略此 DDL,并恢复任务运行。
数据源正在同步的表中字段被删除暂停
删除映射但保留目的地表中字段和数据,并写入空值
删除映射并删除目的地表中字段和数据StarRocks 不支持删除分区键和分桶键,删除分区键和分桶键将导致任务暂停;主键模型和更新模型不支持删除 Key 列,删除 Key 列将导致任务暂停。 您可以在【失败 DDL】模块中选择忽略此 DDL,并恢复任务运行。
数据源正在同步的表中的字段被重命名暂停StarRocks 数据库不支持字段的重命名。当任务暂停后,您可以在数据库新增字段、数据迁移,并在数据链路刷新元数据并重新匹配字段映射后,修改策略为忽略,或者直接修改策略为忽略,并恢复任务运行。
忽略,不在目的地重命名该字段
数据源正在同步的字段变化(类型、精度、标度)暂停
忽略,按照当前字段映射继续同步
按照源的字段变化,重新匹配语义映射规则,继续同步StarRocks 不支持分区键和分桶键的字段变化,分区键和分桶键的字段变化将导致任务暂停;主键模型不支持 Key 列的字段变化,Key 列的字段变化将导致任务暂停。 您可以在【失败 DDL】模块中选择忽略此 DDL,并恢复任务运行。StarRocks 仅支持有限的类型转换,请参考 StarRocks 官方文档

Paimon 目的地支持的结构变化策略​

当 Paimon 表为可追加表(APPEND ONLY 表)时不支持结构变化策略,当选择需要在目的地执行 DDL 的策略时,将导致任务报错暂停。

源结构变化OceanBase 目的地结构变化策略注意事项
数据源删除正在同步的表暂停
持续扫描并保留数据目的地表和数据
删除映射并保留数据目的地表和数据
数据源清空正在同步的表的数据暂停
忽略,不在目的地清空数据
数据源正在同步的表新增字段暂停
忽略新增字段
为新增字段建立映射并同步新增字段,忽略默认值
数据源正在同步的表中字段被删除暂停
删除映射但保留目的地表中字段和数据,并写入空值
删除映射并删除目的地表中字段和数据
数据源正在同步的表中的字段被重命名暂停
忽略,不在目的地重命名该字段
数据源正在同步的字段变化(类型、精度、标度)暂停
忽略,按照当前字段映射继续同步
按照源的字段变化,重新匹配语义映射规则,继续同步+ Paimon 不支持字段精度标度变化,字段精度标度变化将导致任务暂停
+ Paimon 仅支持有限的类型转换,不支持的类型转换将导致任务报错暂停

Gbase 8a 目的地支持的结构变化策略​

程序在下游执行 DDL 语句失败后,将导致任务暂停,其 DDL 语句将被暂存在【失败 DDL】中,您可以在【失败 DDL】中选择忽略此 DDL,并恢复任务运行。

源结构变化Gbase 8a 目的地结构变化策略注意事项
数据源删除正在同步的表暂停
持续扫描并保留数据目的地表和数据
删除映射并保留数据目的地表和数据
数据源清空正在同步的表的数据暂停
忽略,不在目的地清空数据
自动在目的地清空同步的表的数据
数据源正在同步的表新增字段暂停
忽略新增字段
为新增字段建立映射并同步新增字段,同步默认值
为新增字段建立映射并同步新增字段,忽略默认值
数据源正在同步的表中字段被删除暂停
删除映射但保留目的地表中字段和数据,并写入空值
删除映射并删除目的地表中字段和数据
数据源正在同步的表中的字段被重命名暂停
忽略,不在目的地重命名该字段
自动重命名该字段Gbase 8a 分区字段不支持重命名,若重命名目的地分区字段,将导致任务报错暂停
数据源正在同步的字段变化(类型、精度、标度)暂停
忽略,按照当前字段映射继续同步
按照源的字段变化,重新匹配语义映射规则,继续同步Gbase 8a 仅支持有限的类型转换,不支持的类型转换将导致任务报错暂停,支持的类型请参考 Gbase 8a 官方文档

Doris 目的地支持的结构变化策略​

源结构变化Doris目的地结构变化策略注意事项
数据源删除正在同步的表暂停
持续扫描并保留数据目的地表和数据
删除映射并保留数据目的地表和数据
数据源清空正在同步的表的数据暂停
忽略,不在目的地清空数据
自动在目的地清空同步的表的数据
数据源正在同步的表新增字段暂停
忽略新增字段
数据源正在同步的表中字段被删除暂停
删除映射但保留目的地表中字段和数据,并写入空值
删除映射并删除目的地表中字段和数据
数据源正在同步的表中的字段被重命名暂停Doris 数据库不支持字段的重命名。当任务暂停后,您可以在数据库新增字段、数据迁移,并在数据链路刷新元数据并重新匹配字段映射后,修改策略为忽略,或者直接修改策略为忽略,并恢复任务运行。
忽略,不在目的地重命名该字段
自动重命名该字段
数据源正在同步的字段变化(类型、精度、标度)暂停
忽略,按照当前字段映射继续同步

PolarDB目的地支持的结构变化​

源结构变化MySQL 目的地结构变化策略注意事项
数据源删除正在同步的表暂停
持续扫描并保留数据目的地表和数据
删除映射并保留数据目的地表和数据
数据源清空正在同步的表的数据暂停
忽略,不在目的地清空数据
自动在目的地清空同步的表的数据
数据源正在同步的表新增字段暂停
忽略新增字段
为新增字段建立映射并同步新增字段,同步默认值
为新增字段建立映射并同步新增字段,忽略默认值
数据源正在同步的表中字段被删除暂停
删除映射但保留目的地表中字段和数据,并写入空值
删除映射并删除目的地表中字段和数据
数据源正在同步的表中的字段被重命名暂停
忽略,不在目的地重命名该字段
自动重命名该字段
数据源正在同步的字段变化(类型、精度、标度)暂停
忽略,按照当前字段映射继续同步
按照源的字段变化,重新匹配语义映射规则,继续同步

注意事项​

信息
  • 结构变化策略需要对数据目的地有更改表结构(alter table)、删除表(drop table)权限,如无该类型权限,遇到数据源结构变化的情况,执行结构变化策略的任务将报错暂停;
  • 结构变化策略中,当填写正则表达式时,不允许相同的源及目的地创建相同的规则,但是字段或高级清洗处理不一致。因为当前产品不支持同源到同目的地,在同一个链路里,选择两遍。
  • 结构变化策略中,当开启高级清洗时,不支持 rename column 的结构变化策略。
  • rename column 如果发生过于频繁,即当解析到,但是还未处理又发生了 rename column,可能会导致引发 add column 和 drop column 的 ddl。
  • 对于 Rename Table 的情况,当解析到以后,目前系统默认的策略是会在目的地按照源表被删除来触发逻辑。
  • 对于 SQL Server 数据源,在使用 Change Data Capture 模式同步数据时,不支持数据源增加列的自动化结构变化处理流程;如发生结构变化,需要您在数据库中做如下更改,保证数据不会丢失:
    1. 停止该数据表的业务增量
    2. 挂起 DP 任务
    3. 在数据库中停止该表的 CDC 进程
    4. 变更数据结构
    5. 在数据库中创建新的对该表的 CDC 进程
    6. 开始采集
    7. 恢复业务增量
    8. 激活 DP 任务