版本:v2.7
请简述产品支持的目标端冲突数据处理机制?
Q :请简述产品支持的目标端冲突数据处理机制?
A: 对于SQL类型的数据目的地,有主键情况下,DataPipeline提供了覆盖机制,根据主键进行插入或覆盖。如果用户希望保留历史数据,DataPipeline也支持增加DML列(Insert、Update、Delete)不断追加数据。文件类型、Kafka、Hive目的地,数据是不断追加的,DataPipeline同样可以将DML类型(Insert、Update、Delete)作为额外列写入,便于下游进行业务去重。