跳到主要内容
版本:v4.13

Kafka 数据节点数据映射

数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。

关于此功能​

Kafka 数据映射功能分为表映射和字段映射两个部分,通过页面化配置定义STRING序列化器结构、高级清洗定义Avro序列化器结构,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。

◎ 表映射​

数据映射配置--配置表映射

  • 作为数据源:
    • 选择同步列表
    • 选择语义映射规则
    • 配置映射设置规则
  • 作为数据目的地:
    • 创建新Topic
    • 选择已有Topic
    • 定义写入设置
      • 消息体结构配置(当数据格式为String时支持定义Key、Value的消息体结构)
      • 分区策略配置
      • Producer参数配置
      • Topic参数配置(新建Topic支持配置Topic参数)
    • 高级清洗
      • 对数据进行清洗处理
      • 定义Avro序列化器的数据结构

◎ 字段映射​

数据映射配置--配置字段映射

警告
  • Kafka 数据节点作为数据源时,数据映射配置不支持行级别限制读取内容。
  • 当配置 Kafka 数据节点数据映射时,可能需要使用清洗脚本对半结构化/非结构化数据进行解析,或对数据进行清洗处理,结构转换写入数据目的地;清洗脚本的功能使用同 RDBMS 类型数据节点清洗脚本,详见数据映射配置-配置清洗脚本。