版本:v2.7
数据源变化设置
「数据源变化设置」
用户可在此处设置在数据任务同步过程中,数据源的表、字段变化的处理方式。
- 数据源删除正在同步的表
- 已存在表被重命名,系统会认为表被删除,重命名的表识别为新表。
- 选项一:继续同步其他表
- 选项二:暂停数据任务
- 已存在表被重命名,系统会认为表被删除,重命名的表识别为新表。
- 同步的表字段被删除
- 重命名字段名称,系统会认为原始字段被删,发现新增字段。
- 选项一:继续同步,目的地该字段传空值
- 选项二:继续同步,目的地该字段被删除
- 选项三:暂停数据任务
- 重命名字段名称,系统会认为原始字段被删,发现新增字段。
- 同步的表发现新增字段
- 选项一:继续同步新增字段(增加是否同步默认值的设置,仅对oracle库生效)
- 选项二:忽略新增字段
- 已同步的数据在数据源被删除
- 当同步表不存在主键时无法获取数据源数据删除信息。
- 选项一:忽略,数据目的地数据保留
- 选项二:立即删除数据目的地数据
- 选项三:同步软删除标识
- 当同步表不存在主键时无法获取数据源数据删除信息。

「数据源变化设置」根据数据源类型、目的地类型、读取范围、读取模式等的不同而有所变化。
| 数据源类型 | 目的地类型 | 读取方式 | 数据源变化支持类型 | 特殊情况 |
|---|---|---|---|---|
| SQL类型(mysql、oracle、sqlserver) | SQL类型/PostgreSQL/TIDB/Greenplum/Kafka/Redshift | 实时 | ①数据源删除正在同步的表 ②同步的表字段被删除 ③同步的表发现新增字段 ④已同步的数据在数据源被删除; | |
| SQL类型(mysql、oracle、sqlserver) | SQL类型/PostgreSQL/TIDB/Greenplum/Kafka/Redshift | 批量读取 | ①数据源删除正在同步的表 ②同步的表字段被删除 ③同步的表发现新增字段 | |
| SQL类型(mysql、oracle、sqlserver) | FTP、HDFS | 实时/批量读取 | 不支持 | |
| SQL类型(mysql、oracle、sqlserver) | Hive | 实时/批量读取 | ①数据源删除正在同步的表②同步的表字段被删除 (不支持继续同步,目的地该字段被删除) ③同步的表发现新增字段 (写入格式为avro时不支持) | ②同步的表字段被删除: a. 继续同步,目的地该字段传空;b. 暂停数据任务 |
| SQL类型(mysql、oracle、sqlserver) | HBase | 实时 | ①数据源删除正在同步的表 ②同步的表字段被删除 (不支持继续同步,目的地该字段被删除) ③同步的表发现新增字段 ④已同步的数据在数据源被删除; | ②同步的表字段被删除: a. 继续同步,目的地该字段传空;b. 暂停数据任务 |
| SQL类型(mysql、oracle、sqlserver) | HBase | 批量读取 | ①数据源删除正在同步的表 ②同步的表字段被删除 (不支持继续同步,目的地该字段被删除) ③同步的表发现新增字段 | ②同步的表字段被删除: a. 继续同步,目的地该字段传空;b. 暂停数据任务 |
| PostgreSQL | SQL类型/TIDB/Greenplum/Kafka/Redshift/HybridDB for PostgreSQL/Redshift | 实时 | ②同步的表字段被删除 ③同步的表发现新增字段 ④已同步的数据在数据源被删 | |
| PostgreSQL | SQL类型/TIDB/Greenplum/Kafka/Redshift/HybridDB for PostgreSQL/Redshift | 增量识别字段 | ①数据源删除正在同步的表 ②同步的表字段被删除 ③同步的表发现新增字段 | |
| PostgreSQL | FTP/HDFS | 实时/增量识别字段 | 不支持 | |
| PostgreSQL | Hive | 实时 | ②同步的表字段被删除 (不支持继续同步,目的地该字段被删除) ③同步的表发现新增字段 | ②同步的表字段被删除: a. 继续同步,目的地该字段传空;b. 暂停数据任务 |
| PostgreSQL | Hive | 增量识别字段 | ①数据源删除正在同步的表②同步的表字段被删除 (不支持继续同步,目的地该字段被删除) ③同步的表发现新增字段 (写入格式为avro时不支持) | ②同步的表字段被删除: a. 继续同步,目的地该字段传空;b. 暂停数据任务 |
| PostgreSQL | HBase | 实时 | ②同步的表字段被删除 (不支持继续同步,目的地该字段被删除) ③同步的表发现新增字段 ④已同步的数据在数据源被删除; | ②同步的表字段被删除: a. 继续同步,目的地该字段传空;b. 暂停数据任务 |
| PostgreSQL | HBase | 批量读取 | ①数据源删除正在同步的表 ②同步的表字段被删除 (不支持继续同步,目的地该字段被删除) ③同步的表发现新增字段 | ②同步的表字段被删除: a. 继续同步,目的地该字段传空;b. 暂停数据任务 |
| Hive | SQL类型/TIDB/Greenplum/Kafka/Redshift/HybridDB for PostgreSQL/Redshift/Hive | 定时读取 | ③同步的表发现新增字段 | |
| Hive | FTP、HDFS | 定时读取 | 不支持 | |
| FTP、Kafka、API、S3、OSS | 所有目的地 | 不支持 |
同步软删除标识具体的操作步骤: