跳到主要内容
版本:v2.7

DataPipeline支持的目标端冲突数据处理机制是什么?

Q:DataPipeline支持的目标端冲突数据处理机制是什么?​

A:对于SQL类型的数据目的地,有主键情况下,DataPipeline提供了覆盖机制,根据主键进行插入或覆盖。如果用户希望保留历史数据,DataPipeline也支持增加DML列(Insert、Update、Delete)不断追加数据。文件类型、Kafka、Hive目的地,数据是不断追加的,DataPipeline同样可以将DML类型(Insert、Update、Delete)作为额外列写入,便于下游进行业务去重。