跳到主要内容
版本:v5.13

配置索引

关于此功能​

DataPipeline 支持部分类型节点的表索引的同步,并支持新建表索引。同时提供了索引同步策略,以提高一些全量同步场景下的同步效率。

  • 数据源索引:
    • 支持节点类型:MySQL、Oracle、PostgreSQL、MS SQL Server、Db2、TiDB、Teledb、HashData、AWS RDS for PostgreSQL,MogDB
    • 当上述节点作为数据源时,支持读取相关数据源的索引信息及索引变化。
  • 数据目的地索引:
    • 支持节点类型:MySQL、Oracle、PostgreSQL、MS SQL Server、Db2、Greenplum、TiDB、openGauss、Gauss 200、Telepg、AWS RDS for PostgreSQL、Amazon RedShift,MogDB,AnalyticDB for MySQL,SelectDB,Doris
    • 新建表:当上述节点作为数据目的地时,支持根据源端索引信息自动映射目的地索引信息,并支持新建和编辑索引信息。
    • 选择已有表:当上述节点作为数据目的地时,支持读取相关目的地索引信息及索引变化。

操作步骤​

  1. 点击数据源按钮,切换至您需要配置的数据源:
    1. 点击「选择同步列表」按钮,选择数据源中您需要同步的数据表;
  2. 选择完成后数据目的地将会展现对应行,每行均有两个可选项:创建新表、选择已有表;
    1. 新建表,点击「元数据配置」进行索引配置:
      1. 如果映射对应源端表存在索引,新建目的地表之后会自动根据源端索引信息映射到目的地端索引配置,默认映射规则如下:
        1. 目的地索引数目、名称与源相同
        2. 如果源节点配置了语义映射-索引映射策略,则目的地索引类型按照源节点的配置进行索引类型的映射,否则按照系统默认索引映射进行映射
        3. 目的地索引键为源端索引键字段映射后的目的地字段,索引键的排序与源相同
      2. 您也可以,对索引信息进行编辑,点击「添加」按钮,添加新索引
        1. 索引名称:必填项,索引名称作为唯一标识,不允许重名。
          1. 目的地和索引类型不同,索引名称、索引数据有差异。
            1. MySQL 目的地的主键索引名称只能是 PRIMARY,因此的 MySQL 目的地主键索引自动为 PRIMARY;
            2. 其他目的地主键索引名称默认映射为 uuid;
        2. 索引类型:必选项,根据不同类型的数据节点特性支持不同的索引类型,具体支持情况见后文:限制和注意事项
          1. redshift 目的地不支持普通索引,因此源的普通索引映射至 redshift 目的地会被删除。
        3. 索引存储方式:必选项,根据不同类型的数据节点特性支持不同的索引存储方式,具体支持情况见后文:限制和注意事项
        4. 索引键:
          1. 字段名称:可选择目的地字段
          2. 字段排序:可选 ascending、deascending
            1. 注意:
              1. postgresql/greenplum/Oracle/达梦/Db2/Gauss 200/OceanBase Oracle:
                1. 如果索引类型为主键索引,则字段排序只允许选择 ascending
              2. TiDB、Redshift 字段排序只允许选择 ascending
          3. 索引键顺序默认为由上至下,您可以勾选索引键,对其进行上移、下移操作来调整其顺序
          4. 您也可以通过勾选索引键进行删除操作
      3. 完成索引配置后保存相关配置,并点击「创建新表」,您可以选择此时不创建索引,并在该数据链路的相关任务的索引配置策略中选择全量同步完成后再创建索引的策略,以此提高该数据任务的同步效率。
    2. 选择已有表:系统将自动读取该表的索引。
      1. 如果目的地索引被用户手动在客户端修改,刷新后会在「元数据配置」索引配置的地方出现 diff
      2. 点击 diff,可选择覆盖已有映射配置,点击「覆盖」按钮,则会按照最新的索引配置来进行同步,否则会按照页面显示的原有索引配置进行同步。

限制和注意事项​

  • 不同类型的数据库支持同步的索引类型:目前只支持唯一索引、主键索引、普通索引这三种类型
  • 不同类型的数据库支持同步的索引存储方式:
    • MySQL:支持 Hash、B-tree,默认值 B-tree
    • Postgresql/Greenplum:
      • 如果索引类型选择 primary/unique,支持 B-tree
      • 如果索引类型选择普通索引,支持 Hash、B-tree
    • Oracle:支持 NORMAL 和 FUNCTION-BASED NORMAL
    • SqlServer:
      • 支持 CLUSTERED / NONCLUSTERED,默认值 CLUSTERED
      • 只能创建一个聚集索引
  • 字段映射页面也支持配置主键索引,且两处配置同步。
    • 如果在字段映射指定了某个字段为主键,则会自动在「元数据配置」中索引模块中创建主键索引,并引用该字段。
    • 如果有多个字段被设置为主键,按照用户设置主键的先后顺序决定「元数据配置」页面中索引模块主键的顺序,可以在索引配置页面进行顺序更改
    • 在「元数据配置」页面中索引模块创建主键索引之后,对应字段在字段映射的地方也会显示相关主键属性