跳到主要内容
版本:v2.7

数据源变化设置

「数据源变化设置」​

用户可在此处设置在数据任务同步过程中,数据源的表、字段变化的处理方式。

  • 数据源删除正在同步的表
    • 已存在表被重命名,系统会认为表被删除,重命名的表识别为新表。
      • 选项一:继续同步其他表
      • 选项二:暂停数据任务
  • 同步的表字段被删除
    • 重命名字段名称,系统会认为原始字段被删,发现新增字段。
      • 选项一:继续同步,目的地该字段传空值
      • 选项二:继续同步,目的地该字段被删除
      • 选项三:暂停数据任务
  • 同步的表发现新增字段
    • 选项一:继续同步新增字段(增加是否同步默认值的设置,仅对oracle库生效)
    • 选项二:忽略新增字段
  • 已同步的数据在数据源被删除
    • 当同步表不存在主键时无法获取数据源数据删除信息。
      • 选项一:忽略,数据目的地数据保留
      • 选项二:立即删除数据目的地数据
      • 选项三:同步软删除标识


「数据源变化设置」根据数据源类型、目的地类型、读取范围、读取模式等的不同而有所变化。

数据源类型目的地类型读取方式数据源变化支持类型特殊情况
SQL类型(mysql、oracle、sqlserver)SQL类型/PostgreSQL/TIDB/Greenplum/Kafka/Redshift实时①数据源删除正在同步的表  ②同步的表字段被删除  ③同步的表发现新增字段   ④已同步的数据在数据源被删除;
SQL类型(mysql、oracle、sqlserver)SQL类型/PostgreSQL/TIDB/Greenplum/Kafka/Redshift批量读取①数据源删除正在同步的表  ②同步的表字段被删除   ③同步的表发现新增字段
SQL类型(mysql、oracle、sqlserver)FTP、HDFS实时/批量读取不支持
SQL类型(mysql、oracle、sqlserver)Hive实时/批量读取①数据源删除正在同步的表②同步的表字段被删除 (不支持继续同步,目的地该字段被删除)  ③同步的表发现新增字段 (写入格式为avro时不支持)②同步的表字段被删除: a. 继续同步,目的地该字段传空;b. 暂停数据任务
SQL类型(mysql、oracle、sqlserver)HBase实时①数据源删除正在同步的表  ②同步的表字段被删除 (不支持继续同步,目的地该字段被删除)  ③同步的表发现新增字段   ④已同步的数据在数据源被删除;②同步的表字段被删除: a. 继续同步,目的地该字段传空;b. 暂停数据任务
SQL类型(mysql、oracle、sqlserver)HBase批量读取①数据源删除正在同步的表 ②同步的表字段被删除 (不支持继续同步,目的地该字段被删除) ③同步的表发现新增字段②同步的表字段被删除: a. 继续同步,目的地该字段传空;b. 暂停数据任务
PostgreSQLSQL类型/TIDB/Greenplum/Kafka/Redshift/HybridDB for PostgreSQL/Redshift实时②同步的表字段被删除   ③同步的表发现新增字段   ④已同步的数据在数据源被删
PostgreSQLSQL类型/TIDB/Greenplum/Kafka/Redshift/HybridDB for PostgreSQL/Redshift增量识别字段①数据源删除正在同步的表  ②同步的表字段被删除   ③同步的表发现新增字段
PostgreSQLFTP/HDFS实时/增量识别字段不支持
PostgreSQLHive实时②同步的表字段被删除 (不支持继续同步,目的地该字段被删除)  ③同步的表发现新增字段②同步的表字段被删除: a. 继续同步,目的地该字段传空;b. 暂停数据任务
PostgreSQLHive增量识别字段①数据源删除正在同步的表②同步的表字段被删除 (不支持继续同步,目的地该字段被删除) ③同步的表发现新增字段 (写入格式为avro时不支持)②同步的表字段被删除: a. 继续同步,目的地该字段传空;b. 暂停数据任务
PostgreSQLHBase实时②同步的表字段被删除 (不支持继续同步,目的地该字段被删除)  ③同步的表发现新增字段   ④已同步的数据在数据源被删除;②同步的表字段被删除: a. 继续同步,目的地该字段传空;b. 暂停数据任务
PostgreSQLHBase批量读取①数据源删除正在同步的表  ②同步的表字段被删除 (不支持继续同步,目的地该字段被删除)  ③同步的表发现新增字段②同步的表字段被删除: a. 继续同步,目的地该字段传空;b. 暂停数据任务
HiveSQL类型/TIDB/Greenplum/Kafka/Redshift/HybridDB for PostgreSQL/Redshift/Hive定时读取③同步的表发现新增字段
HiveFTP、HDFS定时读取不支持
FTP、Kafka、API、S3、OSS所有目的地不支持

同步软删除标识具体的操作步骤: