跳到主要内容
版本:v5.10

语义映射策略

关于数据映射的关系配置有两个地方,一个是语义映射,一个是数据映射。语义映射主要处理元数据之间的映射,而数据映射则主要处理数据对象的映射。(数据映射请参考3.2 数据映射-基本配置-数据映射-映射配置章节)

规则类型语义映射规则数据映射配置规则
作用对象从源端的元数据到目的地的元数据的映射关系从源端的数据对象到目的地的数据对象的映射配置
作用范围可配置的语义映射
+ 字段类型的映射
+ 索引映射(主键,唯一索引)
+ 特性映射(源到目的地的大小写映射)
无需配置的语义映射,使用默认配置规则
+ 注释
+ 索引(普通索引)
+ 字符集
+ 非空约束

无需配置表示为在数据映射生成时的默认规则。
+ 表映射
+ 字段映射
+ 高级清洗配置
+ 源端读取的配置
- 读取范围
- 增量读取条件
- 并发读取
+ 目的地端写入配置
- 逻辑主键

语义映射策略是通过界面配置的方式,将数据源节点的数据类型、索引、特性等语义与数据目的地的数据类型、索引、特性等语义关联起来的映射配置,节点的语义映射是数据链路与数据任务配置数据映射的基石。

语义映射会在以下场景生效。

当创建映射,并且目的地表的生成方式选择新建表时,会根据语义映射定义的字段类型转换规则进行匹配。

系统自身会提供一个默认的语义映射,如果发现默认的语义映射无法满足您的要求,可以这里进行自定义,并且开启语义映射规则,这样新建的映射,即会引用新的语义映射规则。

如果觉得预定义规则相对麻烦,也可以在新建映射时,根据业务情况手工修改目的地字段的字段类型。对于已有表,因为是客观存在的字段类型,不支持在DP界面进行修改。

关于此功能​

语义映射功能中包括了数据的类型映射,索引映射与特性映射。 我们支持多版本的语义映射管理,您可针对不同数据目的地类型及版本,对语义映射策略进行针对性调整。

操作步骤​

◎ 新建语义映射​

  1. 在数据节点列表页面点击节点名称或查看详情按钮进入数据节点详情页面。
  2. 点击策略配置切换至数据节点策略配置 Tab。
  3. 在语义映射模块中点击添加。
  4. 输入语义映射策略名称,选择节点类型,选择节点版本,保存即新建语义映射。
  5. 点击映射详情按钮修改映射详情(详见下方修改映射)。

◎ 修改语义映射​

  1. 在数据节点列表页面点击节点名称或查看详情按钮进入数据节点详情页面。
  2. 点击策略配置切换至数据节点策略配置 Tab。
  3. 在语义映射模块中点击映射详情按钮进入语义映射详情弹窗。
  4. 弹窗内容分为三个部分,类型映射、索引映射、特性映射。

◎ 修改类型映射​

  1. 添加类型映射
    1. 在类型映射数据源部分选择字段类型。
    2. 指定数据源该字段类型的精度标度条件。
    3. 在类型映射数据源部分选择字段类型。
    4. 点击数据目的地字段类型后的输入框指定数据目的地字段类型属性
  2. 修改类型映射
    1. 同添加步骤。
  3. 删除类型映射
    1. 点击删除按钮即可删除类型映射。

◎ 修改索引映射​

  1. 在索引映射数据源部分选择索引类型。
  2. 在索引映射数据目的地部分选择目的地映射索引类型。
  3. 添加删除逻辑同修改类型映射。
  4. 当前版本仅支持将数据源的唯一索引映射成为数据目的地的主键。

◎ 修改特性映射​

  1. 在特性映射中,当前版本支持映射表名称与字段名称的修改。
  2. 支持选项
    1. 和源相同
    2. 全部大写
    3. 全部小写
  3. 此项配置的应用场景
    1. 数据链路的数据映射配置中,通过「创建表」方式生成的数据映射,会自动根据此项配置生成目的地表名称和字段名称。
    2. 在数据源结构新增字段后,如用户配置结构变化策略为同步此字段,会自动根据此项配置生成目的地表名称和字段名称。

◎ 删除语义映射​

  1. 在数据节点列表页面点击节点名称或查看详情按钮进入数据节点详情页面。
  2. 点击策略配置切换至数据节点策略配置 Tab。
  3. 在语义映射模块点击删除进入删除确认提示。
    1. 删除之后不可恢复。
    2. 如系统中有数据映射对该语义映射有依赖关系,语义映射不可删除。
  4. 在删除确认提示点击删除即删除此条语义映射策略,取消即取消删除。

注意事项​

信息
  • 准确的语义映射策略是保证数据可以准确同步的基石,语义映射的错误将直接导致数据传输错误,请您谨慎配置,同样如果发现默认的语义映射不足以满足您的要求时,可以通过配置语义映射的方式修改。
  • 当有任务正在同步依赖于当前需要修改的语义映射的数据映射时,语义映射规则不可修改,如需修改请暂停相关数据任务。
  • 如您不对语义映射策进行编辑,我们提供默认的语义映射策略;如您应用不能覆盖所有数据源类型的语义映射策略,系统将从默认语义映射规则中自动选择最安全的语义映射进行映射。
  • ArgoDB、Snowflake目的地不支持索引映射和特性映射
  • 当您为同一个版本的 StarRocks 数据目的地的不同表模型配置不同的特性映射策略时,表名称按照开启的第一个表模型的特性映射策略生效,字段名称按照各自的特性映射策略生效。
  • 当您为同一个版本的 Paimon 数据目的地的不同表模型配置不同的特性映射策略时,表名称按照开启的第一个表模型的特性映射策略生效,字段名称按照各自的特性映射策略生效。
  • Gbase 8s 支持配置字段映射和索引映射。字段映射中,可配置 Gbase 8s 支持的所有字段类型;索引映射中,可配置 Primary 和 Unique。
  • Gbase 8a 支持配置字段映射和索引映射。字段映射中,可配置 Gbase 8a 支持的所有字段类型;索引映射中,可配置 Primary 。