跳到主要内容
版本:v4.9

配置 ArgoDB 数据节点字段映射

配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。

关于此功能​

因在配置数据映射时可以在数据目的地选择已有表或创建 OLAP 表,配置字段映射也会根据表映射中所选内容而改变。

操作步骤​

  1. 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
  2. 在每一行的数据目的地字段列中选择数据目的地表的字段:
    1. 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
  3. 如数据目的地没有您需要的数据表,您可以点击「创建新表」,跳转至字段映射 tab:
    1. 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
    2. 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
    3. 您可以修改数据目的地名称与字段属性;
    4. 对于Holodesk、Hyperbase、Hyperdrive类型表,需要设置 Rowkey ,建议将数据源主键或唯一索引配置为数据目的地 Rowkey。
  4. 在需要新建表的场景中,修改完字段映射后,点击创建目的地表以通过系统在数据目的地建表;
    1. 建表需要创建表权限;
    2. 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
    3. 通常情况下,生产环境建表需要您公司 DBA 创建表。
  5. 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
    1. 预留字段的映射没有相应的数据源字段信息;
    2. 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
  6. 配置逻辑主键:逻辑主键的使用场景通常是数据源没有主键,但需要按照数据源主键进行增量同步的情况。配置逻辑主键后,系统将自动使用逻辑主键作为数据更新依据,但不会修改数据目的地的表结构,逻辑主键仅在 DataPipeline 数据同步内部使用。
    1. 当您为数据目的地节点配置逻辑主键后,系统将自动将数据源对应字段映射为逻辑主键,您无需在数据源手动配置。
      1. 对于Holodesk表
        1. 逻辑主键 将被作为是更新目的地数据的条件。
        2. 建议将具有唯一性的字段配置为逻辑主键。
        3. 当同时存在 rowkey 和逻辑主键时,优先使用逻辑主键作为更新条件。
      2. 对于Hyperbase、Hyperdrive表
        1. 逻辑主键 将被作为是更新目的地数据的条件。
        2. 建议将具有唯一性的字段配置为逻辑主键。
        3. 当同时存在 rowkey 和逻辑主键时,优先使用逻辑主键作为更新条件。
      3. 对于ORC事务表、ORC非事务表
        1. 逻辑主键 将被作为是更新目的地数据的条件。
        2. 建议将具有唯一性的字段配置为逻辑主键
    2. 我们建议您为目的地配置逻辑主键的字段添加索引,以提高数据检索与更新的效率。

注意事项​

警告
  • 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作
  • 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务
  • 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务 :::