结构变化策略
结构变化策略是当数据源数据结构发生变化时,系统将为您执行的策略,能够有效避免由于数据源结构变化使任务暂停带来的影响。
关于此功能
我们目前针对主要的数据源结构变化,提供了不同的应对策略,以避免任务暂停。并且您可以根据实际场景的需要为每一个节点选择独立的结构变化策略。
同时由于结构变化策略,非常依赖于源端数据库的读取方式,以及目的地端数据库。因此本版本对结构变化策略有一个较大的重构。您需要在系统中,选定源和目的地后,才会弹出相应的结构变化策略选项。同时变更源端的读取方式,可能会影响到结构变化策略的执行情况。
| 情况 | 选项 | 情况说明 |
|---|---|---|
| 数据源删除正在同步的表 | 暂停 | 遇到此种情况暂停数据任务 |
| 删除映射并删除数据目的地的表和数据 | 删除对应数据链路中的数据映射,并删除数据目的地的表(drop table) | |
| 删除映射并保留数据目的地的表和数据 | 删除对应数据链路中的数据映射,但不对数据目的地表中数据进行操作 | |
| 持续扫描并保留数据目的地的表和数据 | 不删除对应数据链路中的数据映射,不对数据目的地表中数据进行操作,保留任务可能因为数据表被误删后恢复同步的可能性 | |
| 数据源正在同步的表新增字段 | 暂停 | 遇到此种情况暂停数据任务 |
| 忽略新增字段 | 数据目的地不新增该字段 | |
| 为新增字段建立映射,并同步新增字段及默认值 | 根据新增字段的信息自动建立数据映射,数据目的地应用新的数据映射同步数据,新增该字段及默认值(alter table) | |
| 为新增字段建立映射,并同步新增字段。忽略默认值 | 根据新增字段的信息自动建立数据映射,数据目的地应用新的数据映射同步数据,新增该字段(alter table) | |
| 数据源正在同步的表中字段被删除 | 暂停 | 遇到此种情况暂停数据任务 |
| 删除映射并删除目的地表中的字段和数据 | 删除对应数据链路中的字段映射,删除目的地表中的该字段(alter table) | |
| 删除映射但保留目的地表中的字段和数据,并写入空值 | 删除对应数据链路中的字段映射,但不对数据目的地表结构和历史数据进行操作,后续同步向该字段写入空值 | |
| 数据源正在同步的表中字段发生类型/精度/标度变化 | 暂停 | 遇到此种情况暂停数据任务 |
| 忽略,按照当前字段映射继续同步 | 继续按照当前的语义映射规则继续同步数据任务,如果该语义规则导致数据写入目的地失败,则会因为目的地写入失败而暂停数据任务 | |
| 按照源的字段变化,重新匹配语义映射规则,继续同步 | 按照源的字段变化,重新按照节点或者链路选择的语义映射策略匹配新的语义映射规则,继续同步,如果目的端字段修改失败,则映射修改成功,任务报错。如果目的地端修改成功,则继续写入,此时如果写入数据成功,则继续,如果写入失败,则因为目的地写入失败而暂停数据任务。 | |
| 数据源清空正在同步的表的数据 | 暂停 | 遇到此种情况暂停数据任务 |
| 忽略,不在目的地清空数据 | 忽略该 DDL,不在目的地清空数据 | |
| 自动在目的地清空同步的表的数据 | 执行该 DDL,会在目的地清空该表或者路径下的所有表 | |
| 数据源正在同步的表中,字段被重命名 | 暂停 | 遇到此种情况暂停数据任务 |
| 忽略,不在目的地重命名该字段 | 忽略该 DDL,不修改目的地的该字段的名称 | |
| 自动重命名该字段 | 执行该 DDL,修改目的地的该字段的名称 | |
| 数据源创建了符合下列正则表达式规则的表 | 暂停 | 遇到此种情况暂停数据任务 |
| 忽略,不创建符合规则的映射 | 忽略,当检测到符合规则的 DDL,不在系统中创建该映射,同时也不同步该表的数据 | |
| 自动创建符合规则的映射 | 当检测到符合规则的 DDL,在系统中创建该映射,同时同步该表的数据 |
表格-结构变化策略选项说明列表
| 源端读取方式 | 目的地端 | 选项 |
|---|---|---|
| 可以获取到某个类型的 DDL | 可以执行该类型的 DDL | 暂停,忽略,跟随 DDL |
| 不可以执行该类型的 DDL | 暂停,忽略 | |
| 不可以获取到某个类型的 DDL | 默认执行忽略,不提供该策略的配置。 |
DDL 限制说明
Create table
源端支持解析的节点范围:
Mysql 和 TeleDB 的 binlog 读取方式,Oralce 的 Logminer 读取方式。
目的地支持执行 DDL 的节点范围:
所有的 RDBMS 关系型数据库支持。
其他说明:
使用通配符表达式%配置。例如%ABC%,将解析所有建表中包含 ABC,且不是以 ABC 开头或者结尾的符合规则的表。
Drop table
源端支持的节点范围:
全部节点
目的地支持执行 DDL 的节点范围:
目的地会根据管理要求,提供暂停,持续扫描,删除表或者删除映射的处理。
Add column
源端支持的节点范围:
全部节点
目的地支持执行的 DDL 范围:
目的地会根据管理要求,提供暂停,忽略,执行 add column 的处理。举例,像 maxcompute,hive 和文件类型的节点,oss,hdfs,ftp,sftp,当文件格式为 csv 时,其实是没有顺序的, 因此 add column 会默认增加到最后一列,此时有可能数据同步会导致串行。因此这一类型的目的地,不支持执行 add column 的 ddl。
Drop column
源端支持的节点范围:
全部节点
目的地支持执行的 DDL 范围:
目的地会根据管理要求,提供暂停,忽略,执行 drop column 的处理。举例,像 maxcompute,redis,hive 和文件类型的节点,oss,hdfs,ftp,sftp,当文件格式为 csv 时,其实是没有顺序的, 因此 drop column 可能会发生数据错误,因此有的数据库并不支持执行 drop column 的 ddl。
Rename column
源端支持解析的节点范围:
Mysql 和 TeleDB 的 binlog 读取方式,Oralce 的 Logminer 读取方式。
目的地支持执行的 DDL 范围:
除 kafka,mongodb,redis,hbase,自定义节点,sftp,ftp,inceptor,oss 之前的目的地均可以执行 rename column 的操作。
alter table (字段类型,精度,标度变化)
源端支持的节点范围:
全部节点
目的地支持执行的 DDL 范围:
目的地会根据管理要求,提供暂停,忽略,执行 alter table 的处理。如果目的地数据库本身不支持,将只提供暂停和忽略选项。
Truncate table
源端支持解析的节点范围:
Mysql 和 TeleDB 的 binlog 读取方式,Oralce 的 Logminer 读取方式。
目的地支持执行的 DDL 范围:
目的地会根据管理要求,提供暂停,忽略,执行 truncate table 的处理。
结构变化策略需要对数据目的地有更改表结构(alter table)、删除表(drop table)权限,如无该类型权限,遇到数据源结构变化的情况,执行结构变化策略的任务将报错暂停;
现版本支持结构变化策略的数据目的地有:MySQL、MS SQL Sever、Oracle、Kafka、SequoiaDB、Redis、Amazon Redshift、TiDB、Greenplum,OpenGauss,Hive ,Inceptor,FTP,SFTP,达梦,TelePG,QianBase,AWS RDS for PostgreSQL,GaussDB 200,IBM db2,MongoDB,HDFS,Hudi,HBase,Oceanbase,MaxCompute,OSS 等。
结构变化策略中,当填写正则表达式时,不允许相同的源及目的地创建相同的规则,但是字段或高级清洗处理不一致。因为当前产品不支持同源到同目的地,在同一个链路里,选择两遍。
结构变化策略中,当开启高级清洗时,不支持 rename column 的结构变化策略。
rename column 如果发生过于频繁,即当解析到,但是还未处理又发生了 rename column,可能会导致引发 add column 和 drop column 的 ddl。
对于 Rename Table 的情况,当解析到以后,目前系统默认的策略是会在目的地按照源表被删除来触发逻辑。
对于 SQL Server 数据源,在使用 Change Data Capture 模式同步数据时,不支持数据源增加列的自动化结构变化处理流程;如发生结构变化,需要您在数据库中做如下更改,保证数据不会丢失:
停止该数据表的业务增量
挂起 DP 任务
在数据库中停止该表的 CDC 进程
变更数据结构
在数据库中创建新的对该表的 CDC 进程
开始采集
恢复业务增量
激活 DP 任务
ArgoDB 目的地支持的结构变化策略
| 源结构变化 | ArgoDB 目的地结构变化策略 | 注意事项 |
|---|---|---|
| 数据源删除正在同步的表 | 暂停 | |
| 持续扫描并保留数据目的地表和数据 | ||
| 删除映射并保留数据目的地表和数据 | ||
| 数据源清空正在同步的表的数据 | 暂停 | |
| 忽略,不在目的地清空数据 | ||
| 自动在目的地清空同步的表的数据 | ||
| 数据源正在同步的表新增字段 | 暂停 | |
| 忽略新增字段 | ||
| 为新增字段建立映射并同步新增字段,忽略默认值 | ||
| 数据源正在同步的表中字段被删除 | 暂停 | |
| 删除映射但保留目的地表中字段和数据,并写入空值 | ||
| 删除映射并删除目的地表中字段和数据 | 由于 ArgoDB 不支持删除分区键、分桶键,当数据源对应字段被删除时,任务将自动暂停。 ArgoDB ORC 事务表、ORC 非事务表不支持删除表字段,当数据源对应字段被删除时,任务将自动暂停。 您可以在【失败 DDL】模块中选择忽略此 DDL,并恢复任务运行。 | |
| 数据源正在同步的表中的字段被重命名 | 暂停 | ArgoDB 数据库不支持字段的重命名。当任务暂停后,您可以在数据库新增字段、数据迁移,并在数据链路刷新元数据并重新匹配字段映射后,修改策略为忽略,或者直接修改策略为忽略,并恢复任务运行。 |
| 忽略,不在目的地重命名该字段 | ||
| 数据源正在同步的字段变化(类型、精度、标度) | 暂停 | ArgoDB 数据库不支持字段变化。当任务暂停后,您可以在数据库新增字段、数据迁移,并在数据链路刷新元数据并重新匹配字段映射后,修改策略为忽略,或者直接修改策略为忽略,并恢复任务运行。 |
| 忽略,按照当前字段映射继续同步 |
TDSQL MYSQL 目的地支持的结构变化策略
| 源结构变化 | TDSQL MYSQL 目的地结构变化策略 | 注意事项 |
|---|---|---|
| 数据源删除正在同步的表 | 暂停 | |
| 持续扫描并保留数据目的地表和数据 | ||
| 删除映射并保留数据目的地表和数据 | ||
| 数据源清空正在同步的表的数据 | 暂停 | |
| 忽略,不在目的地清空数据 | ||
| 自动在目的地清空同步的表的数据 | ||
| 数据源正在同步的表新增字段 | 暂停 | |
| 忽略新增字段 | ||
| 为新增字段建立映射并同步新增字段,同步默认值 | ||
| 为新增字段建立映射并同步新增字段,忽略默认值 | ||
| 数据源正在同步的表中字段被删除 | 暂停 | |
| 删除映射但保留目的地表中字段和数据,并写入空值 | ||
| 删除映射并删除目的地表中字段和数据 | 对于分布式实例,TDSQL MYSQL数据库不支持删除【分表键】字段,对【分表键】字段的删除将导致任务暂停。您可以在【失败 DDL】模块中选择忽略此 DDL,并恢复任务运行。 | |
| 数据源正在同步的表中的字段被重命名 | 暂停 | |
| 忽略,不在目的地重命名该字段 | ||
| 自动重命名该字段 | 对于分布式实例,TDSQL MYSQL数据库不支持重命名「分表键」字段,对「分表键」字段的重命名将导致任务暂停。您可以在【失败 DDL】模块中选择忽略此 DDL,并恢复任务运行。 |