结构变化策略
结构变化策略是当数据源数据结构发生变化时,系统将为您执行的策略,能够有效避免由于数据源结构变化使任务暂停带来的影响。
关于此功能
我们目前针对主要的数据源结构变化,提供了不同的应对策略,以避免任务暂停。并且您可以根据实际场景的需要为每一个节点选择独立的结构变化策略。
同时由于结构变化策略,非常依赖于源端数据库的读取方式,以及目的地端数据库。因此本版本对结构变化策略有一个较大的重构。您需要在系统中,选定源和目的地后,才会弹出相应的结构变化策略选项。同时变更源端的读取方式,可能会影响到结构变化策略的执行情况。
| 情况 | 选项 | 选项说明 |
|---|---|---|
| 数据源删除正在同步的表 | 暂停 | 遇到此种情况暂停数据任务 |
| 删除映射并删除数据目的地的表和数据 | 删除对应数据链路中的数据映射,并删除数据目的地的表(drop table) | |
| 删除映射并保留数据目的地的表和数据 | 删除对应数据链路中的数据映射,但不对数据目的地表中数据进行操作 | |
| 持续扫描并保留数据目的地的表和数据 | 不删除对应数据链路中的数据映射,不对数据目的地表中数据进行操作,保留任务可能因为数据表被误删后恢复同步的可能性 | |
| 数据源清空正在同步的表的数据 | 暂停 | 遇到此种情况暂停数据任务 |
| 忽略,不在目的地清空数据 | 忽略该 DDL,不在目的地清空数据 | |
| 自动在目的地清空同步的表的数据 | 执行该 DDL,会在目的地清空该表或者路径下的所有表 | |
| 数据源创建了符合下列正则表达式规则的表 | 暂停 | 遇到此种情况暂停数据任务 |
| 忽略,不创建符合规则的映射 | 忽略,当检测到符合规则的 DDL,不在系统中创建该映射,同时也不同步该表的数据 | |
| 自动创建符合规则的映射 | 当检测到符合规则的 DDL,在系统中创建该映射,同时同步该表的数据 | |
| 数据源重命名正在同步的表 | 暂停 | 遇到此种情况暂停数据任务 |
| 等待相关结构变化,执行全量初始化,恢复索引权限 | 数据源表被重命名后,任务将持续扫描该名称的数据表是否被加(重命名)回来,在扫描到该表后,删除重建目的地表,重新同步全量数据,恢复目的地表的索引、权限(只读) | |
| 等待相关结构变化,自定义处理模式 | 数据源表被重命名后,任务将持续扫描该名称的数据表是否被加(重命名)回来,在您选择此选项后,可自定义在目的地如何处理结构变化 | |
| 数据源正在同步的表新增字段 | 暂停 | 遇到此种情况暂停数据任务 |
| 忽略新增字段 | 数据目的地不新增该字段 | |
| 为新增字段建立映射,并同步新增字段及默认值 | 根据新增字段的信息自动建立数据映射,数据目的地应用新的数据映射同步数据,新增该字段及默认值(alter table) | |
| 为新增字段建立映射,并同步新增字段。忽略默认值 | 根据新增字段的信息自动建立数据映射,数据目的地应用新的数据映射同步数据,新增该字段(alter table) | |
| 数据源正在同步的表中字段被删除 | 暂停 | 遇到此种情况暂停数据任务 |
| 删除映射并删除目的地表中的字段和数据 | 删除对应数据链路中的字段映射,删除目的地表中的该字段(alter table) | |
| 删除映射但保留目的地表中的字段和数据,并写入空值 | 删除对应数据链路中的字段映射,但不对数据目的地表结构和历史数据进行操作,后续同步向该字段写入空值 | |
| 数据源正在同步的表中字段发生类型/精度/标度变化 | 暂停 | 遇到此种情况暂停数据任务 |
| 忽略,按照当前字段映射继续同步 | 继续按照当前的语义映射规则继续同步数据任务,如果该语义规则导致数据写入目的地失败,则会因为目的地写入失败而暂停数据任务 | |
| 按照源的字段变化,重新匹配语义映射规则,继续同步 | 按照源的字段变化,重新按照节点或者链路选择的语义映射策略匹配新的语义映射规则,继续同步,如果目的端字段修改失败,则映射修改成功,任务报错。如果目的地端修改成功,则继续写入,此时如果写入数据成功,则继续,如果写入失败,则因为目的地写入失败而暂停数据任务。 | |
| 数据源正在同步的表中,字段被重命名 | 暂停 | 遇到此种情况暂停数据任务 |
| 忽略,不在目的地重命名该字段 | 忽略该 DDL,不修改目的地的该字段的名称 | |
| 自动重命名该字段 | 执行该 DDL,修改目的地的该字段的名称 | |
| 数据源正在同步的表移除分区 | 暂停 | |
| 忽略移除分区 | ||
| 在目的地移除分区 | 程序仅处理 RANGE、LIST、RANGE COLUMNS、LIST COLUMNS 类型的分区,目的地的其他分区类型不会被程序处理。 | |
| 数据源正在同步的表清空分区 | 暂停 | |
| 忽略清空分区 | ||
| 在目的地清空分区 | 程序仅处理 RANGE、LIST、RANGE COLUMNS、LIST COLUMNS 类型的分区,目的地的其他分区类型不会被程序处理。 |
表格-结构变化策略选项说明
| 源端读取方式 | 目的地端 | 选项 |
|---|---|---|
| 可以获取到某个类型的 DDL | 可以执行该类型的 DDL | 暂停,忽略,跟随 DDL |
| 不可以执行该类型的 DDL | 暂停,忽略 | |
| 不可以获取到某个类型的 DDL | 默认执行忽略,不提供该策略的配置。 |
场景限制说明
Create table
源端支持解析的节点范围:
Mysql 和 TeleDB 的 binlog 读取方式,Oralce 的 Logminer 读取方式。
目的地支持执行 DDL 的节点范围:
所有的 RDBMS 关系型数据库支持。
其他说明:
使用通配符表达式%配置。例如%ABC%,将解析所有建表中包含 ABC,且不是以 ABC 开头或者结尾的符合规则的表。
Drop table
源端支持的节点范围:
全部节点
目的地支持执行 DDL 的节点范围:
目的地会根据管理要求,提供暂停,持续扫描,删除表或者删除映射的处理。
Truncate table
源端支持解析的节点范围:
Mysql 和 TeleDB 的 binlog 读取方式,Oralce 的 Logminer、采集代理 读取方式。
目的地支持执行的 DDL 范围:
目的地会根据管理要求,提供暂停,忽略,执行 truncate table 的处理。
Rename table
源端支持解析的节点范围:
Mysql 的 binlog 读取方式,Oralce 的 采集代理 读取方式。
目的地支持执行的节点范围:
目的地支持Oracle、MySQL、OushuDB、达梦8、MS SQL Server、IBM Db2 LUW。
目的地处理步骤逻辑:
| 序号 | 步骤/功能 | 逻辑说明 |
|---|---|---|
| 1 | DDL解析器 | 解析识别数据源的DDL |
| 2 | DDL识别-正在同步的表被重命名 | 1. 通过识别:rename 正在同步的数据表 至其他表 的DDL语句来判断结构变化触发逻辑; 2. 对于不在同步列表中的表,识别其DDL后判断,是否有符合持续扫描情况的DDL; 3. 记录日志,触发预警(如有) |
| 3 | 策略选项-暂停 | 暂停数据任务,显示映射DIFF,记录日志 |
| 4 | 策略选项-重命名目的地表 | 重命名目的地表,继续同步 |
| 5 | 策略选项-更新源表映射,继续同步 | 把映射中数据源表名字变成rename后的名字,继续同步 |
| 6 | 策略选项-等待相关结构变化 | 1. 等这张表被加回来后处理,处理完成后继续同步 2. 等待没有超时 |
| 7 | DDL识别-有数据表被重命名为正在同步的表 | 1. 通过识别:rename 其他表 to 正在同步的表,来判断触发逻辑; 2. 需要可以调这个判断轮询的时间间隔,当前版本可以作为环境变量,后续可以加到系统参数里 3. 记录日志,触发预警(如有) |
| 8 | 对比当前结构与映射结构 | 1. 拿到最新的数据表的结构,与映射实际保存的结构进行对比; 2. 识别当前结构变化支持选项的变化:添加字段、删除字段、字段重命名(视同删除字段后新增字段)、修改字段类型/精度/标度 3. 字段默认值、非空条件、索引、触发器等当前不支持的结构变化类型不比较 |
| 9 | 对结构有变化的处理 | 有变化场景:数据源通过表替换的方式做了结构变化 |
| 10 | 对结构无变化的处理 | 无变化场景:数据源通过表替换的方式更新了数据 |
| 11 | 恢复权限索引 | 1. 读取目的地表的索引、权限信息并保存(恢复权限类型仅限只读,索引类型-所有索引) 2. 等待全量数据恢复完成 3. 添加权限、索引 |
| 12 | 重新同步恢复全量数据 | 1. 在目的地新建表 new_tbl(新结构) 2. 重新同步全量数据至 new_tbl 3. 给新表添加索引、权限(如选择了恢复索引权限) 4. 重命名历史表 rename org_tbl to org_tbl_bak 5. 重命名新表 rename new_tbl to org_tbl 6. 删除历史表备份 drop org_tbl 说明: + 为什么不选择直接删除历史表,而是rename? - 如果错误了手动恢复更容易一些 + 为什么将重新同步全量数据放在第二步? - 尽量使rename操作后新表达到可用状态,减少结构变更影响的时间窗口 |
异常情况处理:
对于该策略的处理异常情况,在产品操作指南与故障处理指南中添加说明:
为了保证数据一致性,请您执行:
- 删除数据映射
- 选择该数据表至映射,不创建目的地映射
- 刷新映射已选数据表数据结构
- 创建目的地映射
- 在数据任务中选择该映射
- 配置该映射的同步起点为“全量初始化”
- 修改任务执行方式-同步起点为“分映射指定起点”
- 激活任务
- 手动调整目的地表的索引、权限
Add column
源端支持的节点范围:
全部节点
目的地支持执行的 DDL 范围:
目的地会根据管理要求,提供暂停,忽略,执行 add column 的处理。举例,像 maxcompute,hive 和文件类型的节点,oss,hdfs,ftp,sftp,当文件格式为 csv 时,其实是没有顺序的, 因此 add column 会默认增加到最后一列,此时有可能数据同步会导致串行。因此这一类型的目的地,不支持执行 add column 的 ddl。
Drop column
源端支持的节点范围:
全部节点
目的地支持执行的 DDL 范围:
目的地会根据管理要求,提供暂停,忽略,执行 drop column 的处理。举例,像 maxcompute,redis,hive 和文件类型的节点,oss,hdfs,ftp,sftp,当文件格式为 csv 时,其实是没有顺序的, 因此 drop column 可能会发生数据错误,因此有的数据库并不支持执行 drop column 的 ddl。
Rename column
源端支持解析的节点范围:
Mysql 和 TeleDB 的 binlog 读取方式,Oralce 的 Logminer 读取方式。
目的地支持执行的 DDL 范围:
除 kafka,mongodb,redis,hbase,自定义节点,sftp,ftp,inceptor,oss 之前的目的地均可以执行 rename column 的操作。
Alter table (字段类型,精度,标度变化)
源端支持的节点范围:
全部节点
目的地支持执行的 DDL 范围:
目的地会根据管理要求,提供暂停,忽略,执行 alter table 的处理。如果目的地数据库本身不支持,将只提供暂停和忽略选项。
分节点支持情况说明
数据源节点支持的结构变化策略
MySQL 数据源支持的结构变化策略
| 源结构变化 | 读取方式 |
|---|---|
| 数据源删除正在同步的表 | JDBC、BINLOG |
| 数据源清空正在同步的表的数据 | BINLOG |
| 数据源创建了符合下列通配符表达式规则的表 | BINLOG |
| 数据源重命名正在同步的表 | BINLOG |
| 数据源正在同步的表新增字段 | JDBC、BINLOG |
| 数据源正在同步的表中字段被删除 | JDBC、BINLOG |
| 数据源正在同步的表中的字段被重命名 | BINLOG |
| 数据源正在同步的字段变化(类型、精度、标度) | JDBC、BINLOG |
Oracle 数据源支持的结构变化策略
| 源结构变化 | 读取方式 | 注意事项 |
|---|---|---|
| 数据源删除正在同步的表 | 采集代理、LogMiner、JDBC | |
| 数据源清空正在同步的表的数据 | 采集代理、LogMiner | |
| 数据源创建了符合下列通配符表达式规则的表 | LogMiner | |
| 数据源重命名正在同步的表 | 采集代理 | |
| 数据源正在同步的表新增字段 | 采集代理、LogMiner、JDBC | |
| 数据源正在同步的表中字段被删除 | 采集代理、LogMiner、JDBC | |
| 数据源正在同步的表中的字段被重命名 | LogMiner | |
| 数据源正在同步的字段变化(类型、精度、标度) | 采集代理、LogMiner、JDBC | |
| 数据源正在同步的表移除分区 | 采集代理、LogMiner | 程序仅捕获 RANGE、LIST、RANGE COLUMNS、LIST COLUMNS 类型的分区,不会被捕获其他分区类型。 |
| 数据源正在同步的表清空分区 | 采集代理、LogMiner | 程序仅捕获 RANGE、LIST、RANGE COLUMNS、LIST COLUMNS 类型的分区,不会被捕获其他分区类型。 |
OceanBase 数据源结构变化策略
| OceanBase 数据源结构变化 | 注意事项 |
|---|---|
| 数据源删除正在同步的表 | |
| 数据源清空正在同步的表的数据 | |
| 数据源重命名正在同步的表 | 仅当数据目的地是 mysql、oracle、oushudb、sqlserver、dameng、db2 时,有此选项 |
| 数据源正在同步的表新增字段 | |
| 数据源正在同步的表中字段被删除 | |
| 数据源正在同步的表中的字段被重命名 | |
| 数据源正在同步的字段变化(类型、精度、标度) |
Gbase 8s 数据源支持的结构变化策略及操作流程
| 源表结构变化 | 支持的读取方式 |
|---|---|
| 数据源删除正在同步的表 | JDBC、Gbase 8s CDC |
| 数据源清空正在同步的表的数据 | Gbase 8s CDC |
| 数据源正在同步的表新增字段 | JDBC、Gbase 8s CDC |
| 数据源正在同步的表中字段被删除 | JDBC、Gbase 8s CDC |
| 数据源正在同步的字段变化(类型、精度、标度) | JDBC、Gbase 8s CDC |
实时数据捕获集成了官方提供的 Gbase 8s CDC 实现,CDC 使用有如下限制:
- 使用 CDC 必须要在源库开启日志补全(执行cdc_set_fullrowlogging()函数)。但由于Gbase 8s 数据库限制,开启日志补全后将不能执行 DDL。
- CDC 中无法获取除 TRUNCATE 外的 DDL,在源库执行 DDL 后,需要重启捕获查询系统视图获取元数据。
- 执行 DDL 前需要停 CDC,否则执行某些 DDL(如修改 Varchar 长度)后 CDC 解析报错。
- 基于 Gbase 8s 数据库设计,当发生某些 DDL 之后,会引起表的 tableid 发生变化,这时 Gbase 8s API 会把表中的历史数据重新解析一遍。对用户来讲,现象是历史数据会重新读一遍。本质上来讲,引起 tableid 变化的操作都会引发此现象。已知具体会引起 tableid 变化的 DDL 操作如下,需要注意的是只要 table id 发生变化,均会导致此现象:
- 新增/删除列:
- 新增/删除的列的数据类型包含 TEXT / BYTE / BLOB / CLOB / LVARCHAR / JSON / BSON
- 表中已存在 TEXT / BYTE / BLOB / CLOB / LVARCHAR / JSON / BSON 类型的数据列,新增删除其他数据类型列
- 改变数据类型
- 改变精度标度
- 新增/删除列:
基于以上限制,使用 Gbase 8s CDC 读取模式时,我们提供了三种流程执行结构变化,不按流程操作会有丢数或者任务报错暂停的风险。其中关闭表补全 SQL 如下:
Database syscdcv1;
execute function cdc_set_fullrowlogging ("database_name:schema_name.table_name", 0);
流程一:不丢数,不重读历史数据

流程二:不丢数,但执行引起 tableid 变化的 DDL后,会重读历史数据

流程三:不重读历史数据,但停任务期间的历史数据丢失,需采取其他手段补回,如新建任务用 JDBC 方式补回停任务期间的数据

注意事项
- 执行 Truncate DDL 可不停止任务;
- 停止Gbase 8s CDC 期间执行的多次相同类型的 DDL (Truncate 除外)在任务监控统计中 DDL 统计仅会被统计一次。
�
Gbase 8a 数据源支持的结构变化策略
| 源表结构变化 | 支持的读取方式 |
|---|---|
| 数据源删除正在同步的表 | JDBC |
| 数据源正在同步的表新增字段 | JDBC |
| 数据源正在同步的表中字段被删除 | JDBC |
| 数据源正在同步的字段变化(类型、精度、标度) | JDBC |
ClickHouse 数据源支持的结构变化策略
| 源表结构变化 | 支持的读取方式 |
|---|---|
| 数据源删除正在同步的表 | JDBC |
| 数据源正在同步的表新增字段 | JDBC |
| 数据源正在同步的表中字段被删除 | JDBC |
| 数据源正在同步的字段变化(类型、精度、标度) | JDBC |
PolarDB X -1.0 数据源支持的结构变化策略
PolarDB 节点是分布式数据库,并且增量采集时,会在每个分库上产生一条DDL,因此对于数据采集而言会存在多条DDL,因此当采集和消费时,有可能会存在进度不一致的情况,当前DP采用悲观锁的方案处理分区DDL,目前还在alpha阶段,待后续充分验证后,将正式release。当前建议的方式,需要生产上配合,做DDL时,最好暂停上游的业务,避免大量的DML写入,从而概率性产生乱序问题。
数据目的地节点支持的结构变化策略
MySQL 目的地支持的结构变化策略
| 源结构变化 | MySQL 目的地结构变化策略 | 注意事项 |
|---|---|---|
| 数据源删除正在同步的表 | 暂停 | |
| 持续扫描并保留数据目的地表和数据 | ||
| 删除映射并保留数据目的地表和数据 | ||
| 数据源清空正在同步的表的数据 | 暂停 | |
| 忽略,不在目的地清空数据 | ||
| 自动在目的地清空同步的表的数据 | ||
| 数据源创建了符合下列通配符表达式规则的表 | 暂停 | |
| 忽略,不创建符合规则的映射 | ||
| 自动创建符合规则的映射 | ||
| 数据源重命名正在同步的表 | 暂停 | |
| 等待相关结构变化,执行全量初始化,恢复索引权限 | 数据源表被重命名后,任务将持续扫描该名称的数据表是否被加(重命名)回来。在扫描到该表后,删除重建目的地表,重新同步全量数据,恢复目的地表的索引、权限(只读) | |
| 等待相关结构变化,自定义处理模式 | 数据源表被重命名后,任务将持续扫描该名称的数据表是否被加(重命名)回来。在您选择此选项后,可自定义在目的地如何处理结构变化。 + 是否恢复索引、权限 + 相关表有结构变化时,删除重建目的地表,重新同步全量数据 + 相关表无结构变化时,可选择删除重建目的地表,重新同步全量数据 或者 继续同步增量数据 | |
| 数据源正在同步的表新增字段 | 暂停 | |
| 忽略新增字段 | ||
| 为新增字段建立映射并同步新增字段,同步默认值 | ||
| 为新增字段建立映射并同步新增字段,忽略默认值 | ||
| 数据源正在同步的表中字段被删除 | 暂停 | |
| 删除映射但保留目的地表中字段和数据,并写入空值 | ||
| 删除映射并删除目的地表中字段和数据 | ||
| 数据源正在同步的表中的字段被重命名 | 暂停 | |
| 忽略,不在目的地重命名该字段 | ||
| 自动重命名该字段 | ||
| 数据源正在同步的字段变化(类型、精度、标度) | 暂停 | |
| 忽略,按照当前字段映射继续同步 | ||
| 按照源的字段变化,重新匹配语义映射规则,继续同步 |
Oracle 目的地支持的结构变化策略
| 源结构变化 | Oracle 目的地结构变化策略 | 注意事项 |
|---|---|---|
| 数据源删除正在同步的表 | 暂停 | |
| 持续扫描并保留数据目的地表和数据 | ||
| 删除映射并保留数据目的地表和数据 | ||
| 数据源清空正在同步的表的数据 | 暂停 | |
| 忽略,不在目的地清空数据 | ||
| 自动在目的地清空同步的表的数据 | ||
| 数据源创建了符合下列通配符表达式规则的表 | 暂停 | |
| 忽略,不创建符合规则的映射 | ||
| 自动创建符合规则的映射 | ||
| 数据源重命名正在同步的表 | 暂停 | |
| 等待相关结构变化,执行全量初始化,恢复索引权限 | 数据源表被重命名后,任务将持续扫描该名称的数据表是否被加(重命名)回来。在扫描到该表后,删除重建目的地表,重新同步全量数据,恢复目的地表的索引、权限(只读) | |
| 等待相关结构变化,自定义处理模式 | 数据源表被重命名后,任务将持续扫描该名称的数据表是否被加(重命名)回来。在您选择此选项后,可自定义在目的地如何处理结构变化。 + 是否恢复索引、权限 + 相关表有结构变化时,删除重建目的地表,重新同步全量数据 + 相关表无结构变化时,可选择删除重建目的地表,重新同步全量数据 或者 继续同步增量数据 | |
| 数据源正在同步的表新增字段 | 暂停 | |
| 忽略新增字段 | ||
| 为新增字段建立映射并同步新增字段,同步默认值 | ||
| 为新增字段建立映射并同步新增字段,忽略默认值 | ||
| 数据源正在同步的表中字段被删除 | 暂停 | |
| 删除映射但保留目的地表中字段和数据,并写入空值 | ||
| 删除映射并删除目的地表中字段和数据 | ||
| 数据源正在同步的表中的字段被重命名 | 暂停 | |
| 忽略,不在目的地重命名该字段 | ||
| 自动重命名该字段 | ||
| 数据源正在同步的字段变化(类型、精度、标度) | 暂停 | |
| 忽略,按照当前字段映射继续同步 | ||
| 按照源的字段变化,重新匹配语义映射规则,继续同步 | ||
| 数据源正在同步的表移除分区 | 暂停 | |
| 忽略移除分区 | ||
| 在目的地移除分区 | 程序仅处理 RANGE、LIST、RANGE COLUMNS、LIST COLUMNS 类型的分区,目的地的其他分区类型不会被程序处理。 | |
| 数据源正在同步的表清空分区 | 暂停 | |
| 忽略清空分区/ | ||
| 在目的地清空分区 | 程序仅处理 RANGE、LIST、RANGE COLUMNS、LIST COLUMNS 类型的分区,目的地的其他分区类型不会被程序处理。 |
DaMeng 目的地支持的结构变化策略
| 源结构变化 | DaMeng** 目的地结构变化策略** | 注意事项 |
|---|---|---|
| 数据源删除正在同步的表 | 暂停 | |
| 持续扫描并保留数据目的地表和数据 | ||
| 删除映射并保留数据目的地表和数据 | ||
| 数据源清空正在同步的表的数据 | 暂停 | |
| 忽略,不在目的地清空数据 | ||
| 自动在目的地清空同步的表的数据 | ||
| 数据源创建了符合下列通配符表达式规则的表 | 暂停 | |
| 忽略,不创建符合规则的映射 | ||
| 自动创建符合规则的映射 | ||
| 数据源重命名正在同步的表 | 暂停 | |
| 等待相关结构变化,执行全量初始化,恢复索引权限 | 数据源表被重命名后,任务将持续扫描该名称的数据表是否被加(重命名)回来。在扫描到该表后,删除重建目的地表,重新同步全量数据,恢复目的地表的索引、权限(只读) | |
| 等待相关结构变化,自定义处理模式 | 数据源表被重命名后,任务将持续扫描该名称的数据表是否被加(重命名)回来。在您选择此选项后,可自定义在目的地如何处理结构变化。 + 是否恢复索引、权限 + 相关表有结构变化时,删除重建目的地表,重新同步全量数据 + 相关表无结构变化时,可选择删除重建目的地表,重新同步全量数据 或者 继续同步增量数据 | |
| 数据源重命名正在同步的表 | 暂停 | |
| 等待相关结构变化,执行全量初始化,恢复索引权限 | 数据源表被重命名后,任务将持续扫描该名称的数据表是否被加(重命名)回来。在扫描到该表后,删除重建目的地表,重新同步全量数据,恢复目的地表的索引、权限(只读) | |
| 等待相关结构变化,自定义处理模式 | 数据源表被重命名后,任务将持续扫描该名称的数据表是否被加(重命名)回来。在您选择此选项后,可自定义在目的地如何处理结构变化。 + 是否恢复索引、权限 + 相关表有结构变化时,删除重建目的地表,重新同步全量数据 + 相关表无结构变化时,可选择删除重建目的地表,重新同步全量数据 或者 继续同步增量数据 | |
| 数据源正在同步的表新增字段 | 暂停 | |
| 忽略新增字段 | ||
| 为新增字段建立映射并同步新增字段,同步默认值 | ||
| 为新增字段建立映射并同步新增字段,忽略默认值 | ||
| 数据源正在同步的表中字段被删除 | 暂停 | |
| 删除映射但保留目的地表中字段和数据,并写入空值 | ||
| 删除映射并删除目的地表中字段和数据 | ||
| 数据源正在同步的表中的字段被重命名 | 暂停 | |
| 忽略,不在目的地重命名该字段 | ||
| 自动重命名该字段 | ||
| 数据源正在同步的字段变化(类型、精度、标度) | 暂停 | |
| 忽略,按照当前字段映射继续同步 | ||
| 按照源的字段变化,重新匹配语义映射规则,继续同步 |
OceanBase 目的地支持的结构变化策略
| 源结构变化 | OceanBase 目的地结构变化策略 | 注意事项 |
|---|---|---|
| 数据源删除正在同步的表 | 暂停 | |
| 持续扫描并保留数据目的地表和数据 | ||
| 删除映射并保留数据目的地表和数据 | ||
| 数据源清空正在同步的表的数据 | 暂停 | |
| 忽略,不在目的地清空数据 | ||
| 自动在目的地清空同步的表的数据 | ||
| 数据源创建了符合下列通配符表达式规则的表 | 暂停 | |
| 忽略,不创建符合规则的映射 | ||
| 自动创建符合规则的映射 | ||
| 数据源正在同步的表新增字段 | 暂停 | |
| 忽略新增字段 | ||
| 为新增字段建立映射并同步新增字段,同步默认值 | ||
| 为新增字段建立映射并同步新增字段,忽略默认值 | ||
| 数据源正在同步的表中字段被删除 | 暂停 | |
| 删除映射但保留目的地表中字段和数据,并写入空值 | ||
| 删除映射并删除目的地表中字段和数据 | ||
| 数据源正在同步的表中的字段被重命名 | 暂停 | |
| 忽略,不在目的地重命名该字段 | ||
| 自动重命名该字段 | ||
| 数据源正在同步的字段变化(类型、精度、标度) | 暂停 | |
| 忽略,按照当前字段映射继续同步 | ||
| 按照源的字段变化,重新匹配语义映射规则,继续同步 |
ArgoDB 目的地支持的结构变化策略
| 源结构变化 | ArgoDB 目的地结构变化策略 | 注意事项 |
|---|---|---|
| 数据源删除正在同步的表 | 暂停 | |
| 持续扫描并保留数据目的地表和数据 | ||
| 删除映射并保留数据目的地表和数据 | ||
| 数据源清空正在同步的表的数据 | 暂停 | |
| 忽略,不在目的地清空数据 | ||
| 自动在目的地清空同步的表的数据 | ||
| 数据源正在同步的表新增字段 | 暂停 | |
| 忽略新增字段 | ||
| 为新增字段建立映射并同步新增字段,忽略默认值 | ||
| 数据源正在同步的表中字段被删除 | 暂停 | |
| 删除映射但保留目的地表中字段和数据,并写入空值 | ||
| 删除映射并删除目的地表中字段和数据 | 由于 ArgoDB 不支持删除分区键、分桶键,当数据源对应字段被删除时,任务将自动暂停。 ArgoDB ORC 事务表、ORC 非事务表不支持删除表字段,当数据源对应字段被删除时,任务将自动暂停。 您可以在【失败 DDL】模块中选择忽略此 DDL,并恢复任务运行。 | |
| 数据源正在同步的表中的字段被重命名 | 暂停 | ArgoDB 数据库不支持字段的重命名。当任务暂停后,您可以在数据库新增字段、数据迁移,并在数据链路刷新元数据并重新匹配字段映射后,修改策略为忽略,或者直接修改策略为忽略,并恢复任务运行。 |
| 忽略,不在目的地重命名该字段 | ||
| 数据源正在同步的字段变化(类型、精度、标度) | 暂停 | ArgoDB 数据库不支持字段变化。当任务暂停后,您可以在数据库新增字段、数据迁移,并在数据链路刷新元数据并重新匹配字段映射后,修改策略为忽略,或者直接修改策略为忽略,并恢复任务运行。 |
| 忽略,按照当前字段映射继续同步 |
TDSQL MySQL 目的地支持的结构变化策略
| 源结构变化 | TDSQL MySQL 目的地结构变化策略 | 注意事项 |
|---|---|---|
| 数据源删除正在同步的表 | 暂停 | |
| 持续扫描并保留数据目的地表和数据 | ||
| 删除映射并保留数据目的地表和数据 | ||
| 数据源清空正在同步的表的数据 | 暂停 | |
| 忽略,不在目的地清空数据 | ||
| 自动在目的地清空同步的表的数据 | ||
| 数据源正在同步的表新增字段 | 暂停 | |
| 忽略新增字段 | ||
| 为新增字段建立映射并同步新增字段,同步默认值 | ||
| 为新增字段建立映射并同步新增字段,忽略默认值 | ||
| 数据源正在同步的表中字段被删除 | 暂停 | |
| 删除映射但保留目的地表中字段和数据,并写入空值 | ||
| 删除映射并删除目的地表中字段和数据 | 对于分布式实例,TDSQL MYSQL数据库不支持删除【分表键】字段,对【分表键】字段的删除将导致任务暂停。您可以在【失败 DDL】模块中选择忽略此 DDL,并恢复任务运行。 | |
| 数据源正在同步的表中的字段被重命名 | 暂停 | |
| 忽略,不在目的地重命名该字段 | ||
| 自动重命名该字段 | 对于分布式实例,TDSQL MYSQL数据库不支持重命名「分表键」字段,对「分表键」字段的重命名将导致任务暂停。您可以在【失败 DDL】模块中选择忽略此 DDL,并恢复任务运行。 | |
| 数据源正在同步的字段变化(类型、精度、标度) | 暂停 | |
| 忽略,按照当前字段映射继续同步 | ||
| 按照源的字段变化,重新匹配语义映射规则,继续同步 |
PostgreSQL 目的地支持的结构变化策略
| 源结构变化 | PostgreSQL 目的地结构变化策略 | 注意事项 |
|---|---|---|
| 数据源删除正在同步的表 | 暂停 | |
| 持续扫描并保留数据目的地表和数据 | ||
| 删除映射并保留数据目的地表和数据 | ||
| 数据源清空正在同步的表的数据 | 暂停 | |
| 忽略,不在目的地清空数据 | ||
| 自动在目的地清空同步的表的数据 | ||
| 数据源创建了符合下列通配符表达式规则的表 | 暂停 | |
| 忽略,不创建符合规则的映射 | ||
| 自动创建符合规则的映射 | ||
| 数据源正在同步的表新增字段 | 暂停 | |
| 忽略新增字段 | ||
| 为新增字段建立映射并同步新增字段,同步默认值 | ||
| 为新增字段建立映射并同步新增字段,忽略默认值 | ||
| 数据源正在同步的表中字段被删除 | 暂停 | |
| 删除映射但保留目的地表中字段和数据,并写入空值 | ||
| 删除映射并删除目的地表中字段和数据 | ||
| 数据源正在同步的表中的字段被重命名 | 暂停 | |
| 忽略,不在目的地重命名该字段 | ||
| 自动重命名该字段 | ||
| 数据源正在同步的字段变化(类型、精度、标度) | 暂停 | |
| 忽略,按照当前字段映射继续同步 | ||
| 按照源的字段变化,重新匹配语义映射规则,继续同步 |
opengauss 目的地支持的结构变化策略
| 源结构变化 | opengauss 目的地结构变化策略 | 注意事项 |
|---|---|---|
| 数据源删除正在同步的表 | 暂停 | |
| 持续扫描并保留数据目的地表和数据 | ||
| 删除映射并保留数据目的地表和数据 | ||
| 数据源清空正在同步的表的数据 | 暂停 | |
| 忽略,不在目的地清空数据 | ||
| 自动在目的地清空同步的表的数据 | ||
| 数据源创建了符合下列通配符表达式规则的表 | 暂停 | |
| 忽略,不创建符合规则的映射 | ||
| 自动创建符合规则的映射 | ||
| 数据源正在同步的表新增字段 | 暂停 | |
| 忽略新增字段 | ||
| 为新增字段建立映射并同步新增字段,同步默认值 | ||
| 为新增字段建立映射并同步新增字段,忽略默认值 | ||
| 数据源正在同步的表中字段被删除 | 暂停 | |
| 删除映射但保留目的地表中字段和数据,并写入空值 | ||
| 删除映射并删除目的地表中字段和数据 | ||
| 数据源正在同步的表中的字段被重命名 | 暂停 | |
| 忽略,不在目的地重命名该字段 | ||
| 自动重命名该字段 | ||
| 数据源正在同步的字段变化(类型、精度、标度) | 暂停 | |
| 忽略,按照当前字段映射继续同步 | ||
| 按照源的字段变化,重新匹配语义映射规则,继续同步 |
Greenplum 目的地支持的结构变化策略
| 源结构变化 | Greenplum 目的地结构变化策略 | 注意事项 |
|---|---|---|
| 数据源删除正在同步的表 | 暂停 | |
| 持续扫描并保留数据目的地表和数据 | ||
| 删除映射并保留数据目的地表和数据 | ||
| 数据源清空正在同步的表的数据 | 暂停 | |
| 忽略,不在目的地清空数据 | ||
| 自动在目的地清空同步的表的数据 | ||
| 数据源创建了符合下列通配符表达式规则的表 | 暂停 | |
| 忽略,不创建符合规则的映射 | ||
| 自动创建符合规则的映射 | ||
| 数据源正在同步的表新增字段 | 暂停 | |
| 忽略新增字段 | ||
| 为新增字段建立映射并同步新增字段,同步默认值 | ||
| 为新增字段建立映射并同步新增字段,忽略默认值 | ||
| 数据源正在同步的表中字段被删除 | 暂停 | |
| 删除映射但保留目的地表中字段和数据,并写入空值 | ||
| 删除映射并删除目的地表中字段和数据 | ||
| 数据源正在同步的表中的字段被重命名 | 暂停 | |
| 忽略,不在目的地重命名该字段 | ||
| 自动重命名该字段 | ||
| 数据源正在同步的字段变化(类型、精度、标度) | 暂停 | |
| 忽略,按照当前字段映射继续同步 | ||
| 按照源的字段变化,重新匹配语义映射规则,继续同步 |
StarRocks 目的地支持的结构变化策略
说明:表发生结构变化操作时,会修改表的元数据,此时 StarRocks 表的 tablet 处于非 nomal状态。如果表发生连续结构变化,tablet 非 nomal 状态下无法操作此表,数据库会抛错,导致 DataPipeline 任务报错,影响任务连续性。需要在 DataPipeline connectdp( 或 sinkdp)部署脚本中添加参数:STAR_ROCKS_STREAM_LOAD_MAX_REDIRECT_TIMES = 10,用于设置结构变化异常时的重试次数。
| 源结构变化 | StarRocks 目的地结构变化策略 | 注意事项 |
|---|---|---|
| 数据源删除正在同步的表 | 暂停 | |
| 持续扫描并保留数据目的地表和数据 | ||
| 删除映射并保留数据目的地表和数据 | ||
| 数据源清空正在同步的表的数据 | 暂停 | |
| 忽略,不在目的地清空数据 | ||
| 自动在目的地清空同步的表的数据 | ||
| 数据源正在同步的表新增字段 | 暂停 | |
| 忽略新增字段 | ||
| 为新增字段建立映射并同步新增字段,忽略默认值 | 暂不支持为聚合模型新增字段,为聚合模型新增字段将导致任务暂停。您可以在数据库新增字段,并在数据链路刷新元数据并应用结构变化后,在【失败 DDL】模块中选择忽略此 DDL,并恢复任务运行。 | |
| 数据源正在同步的表中字段被删除 | 暂停 | |
| 删除映射但保留目的地表中字段和数据,并写入空值 | ||
| 删除映射并删除目的地表中字段和数据 | StarRocks 不支持删除分区键和分桶键,删除分区键和分桶键将导致任务暂停;主键模型和更新模型不支持删除 Key 列,删除 Key 列将导致任务暂停。 您可以在【失败 DDL】模块中选择忽略此 DDL,并恢复任务运行。 | |
| 数据源正在同步的表中的字段被重命名 | 暂停 | StarRocks 数据库不支持字段的重命名。当任务暂停后,您可以在数据库新增字段、数据迁移,并在数据链路刷新元数据并重新匹配字段映射后,修改策略为忽略,或者直接修改策略为忽略,并恢复任务运行。 |
| 忽略,不在目的地重命名该字段 | ||
| 数据源正在同步的字段变化(类型、精度、标度) | 暂停 | |
| 忽略,按照当前字段映射继续同步 | ||
| 按照源的字段变化,重新匹配语义映射规则,继续同步 | StarRocks 不支持分区键和分桶键的字段变化,分区键和分桶键的字段变化将导致任务暂停;主键模型不支持 Key 列的字段变化,Key 列的字段变化将导致任务暂停。 您可以在【失败 DDL】模块中选择忽略此 DDL,并恢复任务运行。StarRocks 仅支持有限的类型转换,请参考 StarRocks 官方文档 |
Paimon 目的地支持的结构变化策略
当 Paimon 表为可追加表(APPEND ONLY 表)时不支持结构变化策略,当选择需要在目的地执行 DDL 的策略时,将导致任务报错暂停。
| 源结构变化 | OceanBase 目的地结构变化策略 | 注意事项 |
|---|---|---|
| 数据源删除正在同步的表 | 暂停 | |
| 持续扫描并保留数据目的地表和数据 | ||
| 删除映射并保留数据目的地表和数据 | ||
| 数据源清空正在同步的表的数据 | 暂停 | |
| 忽略,不在目的地清空数据 | ||
| 数据源正在同步的表新增字段 | 暂停 | |
| 忽略新增字段 | ||
| 为新增字段建立映射并同步新增字段,忽略默认值 | ||
| 数据源正在同步的表中字段被删除 | 暂停 | |
| 删除映射但保留目的地表中字段和数据,并写入空值 | ||
| 删除映射并删除目的地表中字段和数据 | ||
| 数据源正在同步的表中的字段被重命名 | 暂停 | |
| 忽略,不在目的地重命名该字段 | ||
| 数据源正在同步的字段变化(类型、精度、标度) | 暂停 | |
| 忽略,按照当前字段映射继续同步 | ||
| 按照源的字段变化,重新匹配语义映射规则,继续同步 | + Paimon 不支持字段精度标度变化,字段精度标度变化将导致任务暂停 + Paimon 仅支持有限的类型转换,不支持的类型转换将导致任务报错暂停 |
Gbase 8a 目的地支持的结构变化策略
程序在下游执行 DDL 语句失败后,将导致任务暂停,其 DDL 语句将被暂存在【失败 DDL】中,您可以在【失败 DDL】中选择忽略此 DDL,并恢复任务运行。
| 源结构变化 | Gbase 8a 目的地结构变化策略 | 注意事项 |
|---|---|---|
| 数据源删除正在同步的表 | 暂停 | |
| 持续扫描并保留数据目的地表和数据 | ||
| 删除映射并保留数据目的地表和数据 | ||
| 数据源清空正在同步的表的数据 | 暂停 | |
| 忽略,不在目的地清空数据 | ||
| 自动在目的地清空同步的表的数据 | ||
| 数据源正在同步的表新增字段 | 暂停 | |
| 忽略新增字段 | ||
| 为新增字段建立映射并同步新增字段,同步默认值 | ||
| 为新增字段建立映射并同步新增字段,忽略默认值 | ||
| 数据源正在同步的表中字段被删除 | 暂停 | |
| 删除映射但保留目的地表中字段和数据,并写入空值 | ||
| 删除映射并删除目的地表中字段和数据 | ||
| 数据源正在同步的表中的字段被重命名 | 暂停 | |
| 忽略,不在目的地重命名该字段 | ||
| 自动重命名该字段 | Gbase 8a 分区字段不支持重命名,若重命名目的地分区字段,将导致任务报错暂停 | |
| 数据源正在同步的字段变化(类型、精度、标度) | 暂停 | |
| 忽略,按照当前字段映射继续同步 | ||
| 按照源的字段变化,重新匹配语义映射规则,继续同步 | Gbase 8a 仅支持有限的类型转换,不支持的类型转换将导致任务报错暂停,支持的类型请参考 Gbase 8a 官方文档 |
Doris 目的地支持的结构变化策略
| 源结构变化 | Doris目的地结构变化策略 | 注意事项 |
|---|---|---|
| 数据源删除正在同步的表 | 暂停 | |
| 持续扫描并保留数据目的地表和数据 | ||
| 删除映射并保留数据目的地表和数据 | ||
| 数据源清空正在同步的表的数据 | 暂停 | |
| 忽略,不在目的地清空数据 | ||
| 自动在目的地清空同步的表的数据 | ||
| 数据源正在同步的表新增字段 | 暂停 | |
| 忽略新增字段 | ||
| 数据源正在同步的表中字段被删除 | 暂停 | |
| 删除映射但保留目的地表中字段和数据,并写入空值 | ||
| 删除映射并删除目的地表中字段和数据 | ||
| 数据源正在同步的表中的字段被重命名 | 暂停 | Doris 数据库不支持字段的重命名。当任务暂停后,您可以在数据库新增字段、数据迁移,并在数据链路刷新元数据并重新匹配字段映射后,修改策略为忽略,或者直接修改策略为忽略,并恢复任务运行。 |
| 忽略,不在目的地重命名该字段 | ||
| 自动重命名该字段 | ||
| 数据源正在同步的字段变化(类型、精度、标度) | 暂停 | |
| 忽略,按照当前字段映射继续同步 |
PolarDB目的地支持的结构变化
| 源结构变化 | MySQL 目的地结构变化策略 | 注意事项 |
|---|---|---|
| 数据源删除正在同步的表 | 暂停 | |
| 持续扫描并保留数据目的地表和数据 | ||
| 删除映射并保留数据目的地表和数据 | ||
| 数据源清空正在同步的表的数据 | 暂停 | |
| 忽略,不在目的地清空数据 | ||
| 自动在目的地清空同步的表的数据 | ||
| 数据源正在同步的表新增字段 | 暂停 | |
| 忽略新增字段 | ||
| 为新增字段建立映射并同步新增字段,同步默认值 | ||
| 为新增字段建立映射并同步新增字段,忽略默认值 | ||
| 数据源正在同步的表中字段被删除 | 暂停 | |
| 删除映射但保留目的地表中字段和数据,并写入空值 | ||
| 删除映射并删除目的地表中字段和数据 | ||
| 数据源正在同步的表中的字段被重命名 | 暂停 | |
| 忽略,不在目的地重命名该字段 | ||
| 自动重命名该字段 | ||
| 数据源正在同步的字段变化(类型、精度、标度) | 暂停 | |
| 忽略,按照当前字段映射继续同步 | ||
| 按照源的字段变化,重新匹配语义映射规则,继续同步 |
注意事项
- 结构变化策略需要对数据目的地有更改表结构(alter table)、删除表(drop table)权限,如无该类型权限,遇到数据源结构变化的情况,执行结构变化策略的任务将报错暂停;
- 结构变化策略中,当填写正则表达式时,不允许相同的源及目的地创建相同的规则,但是字段或高级清洗处理不一致。因为当前产品不支持同源到同目的地,在同一个链路里,选择两遍。
- 结构变化策略中,当开启高级清洗时,不支持 rename column 的结构变化策略。
- rename column 如果发生过于频繁,即当解析到,但是还未处理又发生了 rename column,可能会导致引发 add column 和 drop column 的 ddl。
- 对于 Rename Table 的情况,当解析到以后,目前系统默认的策略是会在目的地按照源表被删除来触发逻辑。
- 对于 SQL Server 数据源,在使用 Change Data Capture 模式同步数据时,不支持数据源增加列的自动化结构变化处理流程;如发生结构变化,需要您在数据库中做如下更改,保证数据不会丢失:
- 停止该数据表的业务增量
- 挂起 DP 任务
- 在数据库中停止该表的 CDC 进程
- 变更数据结构
- 在数据库中创建新的对该表的 CDC 进程
- 开始采集
- 恢复业务增量
- 激活 DP 任务