跳到主要内容
版本:v4.24

配置逻辑主键

关于此功能​

  • 当业务数据源或数据目的地没有主键时,您可以通过在数据目的地配置逻辑主键实现增量数据变更。
  • 逻辑主键仅在DataPipeline内部更新数据时使用,不会更新表的已有结构。
  • DataPipeline目前支持为Oracle、MySQL、DB2、TiDB、Inceptor、ES、Maxcompute、PostgreSQL、Greenplum、Oceanbase、MS SQL Server、GaussDB 节点配置逻辑主键。
  • 建议您为目的地配置逻辑主键的字段添加唯一索引,以提高数据检索的效率。

配置前提

  • 数据目的地配置逻辑主键的字段、以及该字段对应的数据源字段,应保证数据唯一。否则可能出现一次更新多条数据的情况。
  • 目的地是关系型数据库的情况下,配置逻辑主键的字段应已定义唯一索引/索引。保证更新数据的效率。

在这个前提条件满足的情况下,可以按照以下规则配置逻辑主键

  • 数据目的地无主键时,将数据源主键 对应的目的地字段配置为逻辑主键。解决数据目的地无法应用数据源DML的问题。
  • 数据源无主键时,将数据目的地主键/唯一索引 配置为逻辑主键。解决当主键被变更时,目的地无法删除变更前数据的问题。

操作步骤​

  1. 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
  2. 配置逻辑主键:单击目的地字段的逻辑主键图标。您可选择多个字段为逻辑主键。

注意事项​

:::color1 逻辑主键字段,一般要求业务上具备唯一性。如果下游数据不唯一,可能会造成查询匹配条件匹配到多条,从而导致数据同步过程中数据不一致。

:::