跳到主要内容
版本:v4.9

配置 Doris 数据节点字段映射

配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。

关于此功能​

因在配置数据映射时可以在数据目的地选择已有表或创建 OLAP 表,配置字段映射也会根据表映射中所选内容而改变。

操作步骤​

  1. 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
  2. 在每一行的数据目的地字段列中选择数据目的地表的字段:
    1. 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
  3. 如数据目的地没有您需要的数据表,您可以点击「创建 OLAP 表」,跳转至字段映射 tab:
    1. 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
    2. 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
    3. 您可以修改数据目的地名称与字段属性;
    4. 对于聚合模型的表,需要为每个字段指定聚合类型,不同聚合类型支持的字段类型如下:
      1. 数值类型的字段:提供下拉选择,包括SUM、MIN、MAX、REPLACE、REPLACE_IF_NOT_NULL五个选项。默认为不设置聚合类型。
        1. SUM:求和。适用数值类型。
        2. MIN:求最小值。适合数值类型。
        3. MAX:求最大值。适合数值类型。
        4. REPLACE:替换。对于维度列相同的行,指标列会按照导入的先后顺序,后倒入的替换先导入的。
        5. REPLACE_IF_NOT_NULL:非空值替换。和 REPLACE 的区别在于对于null值,不做替换。
      2. HLL 类型列:聚合类型固定显示为HLL_UNION,额外增加一个“值转换函数”的选择,只能选择HLL_HASH
      3. BITMAP 类型的列:固定显示为BITMAP_UNION,额外增加一个“值转换函数”的选择,支持选择BITMAP_HASH以及BITMAP_HASH64
      4. QUANTILE_STATE的列:固定显示为QUANTILE_UNION,额外增加一个“值转换函数”的选择,只能选择TO_QUANTILE_STATE
  4. 在需要新建表的场景中,修改完字段映射后,点击创建目的地表以通过系统在数据目的地建表;
    1. 建表需要创建表权限;
    2. 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
    3. 通常情况下,生产环境建表需要您公司 DBA 创建表。
  5. 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
    1. 预留字段的映射没有相应的数据源字段信息;
    2. 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。

注意事项​

警告
  • 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作
  • 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务
  • 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务 :::