版本:v4.13
Datahub 数据节点数据映射
数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。
关于此功能
Datahub 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。
◎ 表映射
- 作为数据目的地:
- 创建新Topic
- 选择Project
- Shard数量配置
- 生命周期配置
- Topic类型配置
- 选择已有Topic
- 定义写入设置
- 消息体结构配置(当数据格式为String时支持定义Key、Value的消息体结构)
- 分区策略配置
- Producer参数配置
- Topic参数配置(新建Topic支持配置Topic参数)
- 创建新Topic
◎ 字段映射
- 调整字段映射内容
- 对BLOB类型Topic定义数据结构