跳到主要内容
版本:v4.1

Datahub 数据节点数据映射

数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。

关于此功能​

Datahub 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。

◎ 表映射​

  • 作为数据目的地:
    • 创建新Topic
      • 选择Project
      • Shard数量配置
      • 生命周期配置
      • Topic类型配置
    • 选择已有Topic
    • 定义写入设置
      • 消息体结构配置(当数据格式为String时支持定义Key、Value的消息体结构)
      • 分区策略配置
      • Producer参数配置
      • Topic参数配置(新建Topic支持配置Topic参数)

◎ 字段映射​

  • 调整字段映射内容
  • 对BLOB类型Topic定义数据结构