跳到主要内容
版本:v3.7

配置 Redis 数据节点字段映射

配置 Redis 字段映射是在界面中建立数据源表层级结构中字段与数据目的地表层级结构中的字段或数据的映射关系,建立字段或数据的映射关系后,数据才能被准确的从数据源同步至数据目的地

关于此功能​

Redis 数据节点作为数据目的地节点时,DataPipeline 支持 String、Hash 两种映射方式。

在 Hash 映射模式中,通常情况下游两种使用方式。

  • 将数据源主键映射至 Field_Key 中,即 Hash Table 模式。
  • 将数据源主键映射至 Hash_Key 中,Collum_Name 映射至 Field_Key,Collum_Value 映射至 Field_Value,即 Hash 行转列模式。

您可根据实际业务场景自行选择映射方式。

DataPipeline 数据采集组件读取半结构化数据后,需要对数据进行解析,提取数据元素;数据加载组件写入半结构化数据时,需要指定写入数据结构。

操作步骤

  1. 点击数据映射-表映射-字段映射按钮,进入字段映射 Tab。
  2. 针对 Redis 目的地,您可以选择目的地映射方式为 Hash 或 String。
  3. 选择 String 模式,进入字段映射页面,将自动根据数据源生成目的地字段。
    1. 点击结构定义按钮,使用目的地字段变量与数据表信息变量对 Key 与 Value 进行结构定义。
  4. 选择 Hash 模式,进入结构定义选择 Hash 类型。
    1. 选择 Hash_table 类型。
      1. HashKey 使用数据表信息变量拼接表名称。
      2. FieldKey 使用主键集合变量进行拼接。
      3. FieldValue 使用数据进行结构拼接定义。
    2. 选择 Hash_行转列模式。
      1. HashKey 使用数据表信息变量与主键集合变量拼接表名称。
      2. FieldKey 默认为字段名称变量。
      3. FieldValue 默认为字段值变量。
  5. 通过高级清洗向结构定义中除数据源字段变量之外的其他变量赋值。
  6. 完成字段映射配置。
警告
  • 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作。
  • 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务。
  • 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务。 NoSQL 类型数据节点的数据映射高级清洗功能与 RDBMS 类型数据节点的数据映射高级清洗功能一致,配置可参考:数据映射配置--RDBMS--配置清洗脚本。