跳到主要内容
版本:v4.7

配置 TDSQL MYSQL 数据节点表映射

配置 TDSQL MYSQL 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。。

关于此功能​

TDSQL MYSQL 作为目的地节点时,支持通过创建新表或者选择数据库中存在的已有表来生成源表和目的地表的映射关系。在数据同步过程中,DataPipeline 通过连接 JDBC Driver 将数据写入目的地端。

操作步骤​

手动配置映射​

  1. 点击表映射按钮,切换至表映射 TAB
  2. 点击数据目的地按钮,切换至需要配置的 TDSQL MYSQL 目的地
  3. 点击选择同步列表,选择需要同步的数据表
  4. 选择已有数据表或创建新表
  5. 配置“写入设置”
  6. 保存,完成表映射配置

写入设置​

  • 点击写入配置,进入写入配置弹窗,选择已有表时,无写入设置配置项;对于创建新表和选择已有表,配置内容如下
    • 集中部署
      • 分区配置:分区规则及支持的字段类型,参见 TDSQL MYSQL 数据库官方文档
    • 分布式部署
      • 表类型
        • TDSQL MYSQL分布式实例,支持创建分表(自动水平拆分的表、Shard表、一级分区表)、单表(普通表、Noshard表)、广播表。
        • 支持创建 HASH 、RANGE、LIST 规则的分表
          • TDSQL MYSQL 内核为MYSQL 5.7时,数据库仅支持创建 HASH规则 的分表
          • 当分表规则是 HASH 规则时,分表键必须是主键和所有唯一索引的一部分。即:如果字段A被选为分表键,且其中一个唯一索引中不包含字段A,则无法创建表或者无法创建索引。
        • 支持作为分表键的数据类型:
          • 当分表规则为 HASH 时,支持 DATE,DATETIME,TINYINT, SMALLINT, MEDIUMINT, INT, BIGINT,CHAR,VARCHAR 类型的字段做分表键
          • 当分表规则为 RANGE 或 LIST 时,支持 DATE,DATETIME,TINYINT, SMALLINT, MEDIUMINT, INT, BIGINT,CHAR,VARCHAR,TIMESTAMP 类型的字段做分表键
      • 分区配置:分区规则及支持的字段类型,参见 TDSQL MYSQL 数据库官方文档

映射设置(批量映射)​

映射设置中,支持对数据映射进行自动映射配置,可以进行匹配已有表、创建新表、匹配优先,当不执行映射设置时可以选择不匹配表。

  • 表相关设置:
    • 创建新表:支持批量配置表名称创建规则、匹配时是否忽略大小写
    • 匹配已有表:支持配置表名称匹配规则、匹配时是否忽略大小写
    • 匹配优先
    • 不匹配
  • 字段相关设置:支持配置字段名称新建规则、字段名称够匹配规则、新增字段创建规则、匹配过程中是否忽略大小写。
    • 当表相关设置中选择创建新表时,仅字段名称新建规则生效。
    • 当表相关设置中选择匹配已有表时,字段名称匹配规则、新增字段创建规则、匹配过程中是否忽略大小写生效
  • 高级清洗设置:支持批量为目的地表添加高级清洗