版本:v4.7
Kafka 数据节点数据映射
数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。
关于此功能
Kafka 数据映射功能分为表映射和字段映射两个部分,通过页面化配置定义STRING序列化器结构、高级清洗定义Avro序列化器结构,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。
◎ 表映射
- 作为数据源:
- 选择同步列表
- 选择语义映射规则
- 配置映射设置规则
- 作为数据目的地:
◎ 字段映射
警告
- Kafka 数据节点作为数据源时,数据映射配置不支持行级别限制读取内容。
- 当配置 Kafka 数据节点数据映射时,可能需要使用清洗脚本对半结构化/非结构化数据进行解析,或对数据进行清洗处理,结构转换写入数据目的地;清洗脚本的功能使用同 RDBMS 类型数据节点清洗脚本,详见数据映射配置-配置清洗脚本。 :::