版本:v4.12
配置 Paimon 数据节点表映射
配置 Paimon 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
Paimon 作为目的地节点时,Paimon 支持向内表写入数据。支持在链路上配置不同的表数据模型,不同的表模型功能支持度略有差异。
在任务执行过程中,DataPipeline 通过 Paimon Java API 在 HDFS 上创建 Paimon Catalog,并将数据写入到 HDFS 中。
操作步骤
手动配置映射
- 点击表映射按钮,切换至表映射 TAB
- 点击数据目的地按钮,切换至需要配置的 Paimon 目的地
- 点击选择同步列表,选择需要同步的数据表
- 选择已有表或创建内表
- 配置“写入设置”
- 保存,完成表映射配置
写入设置
点击写入配置,进入写入配置弹窗,对于创建内表和选择已有表,配置内容不同
创建内表
- 数据合并引擎,仅主键表有此配置项
- 存储文件格式
- ORC(默认值)
- PARQUET
- AVRO
- 定义分区配置
- 是否分区
- 默认关闭
- 支持用户开启,开启后,分区键必填。
- 分区键:
- 分区键选项为 Paimon 目的地字段。
- 支持添加多个分区键,支持删除任意一个分区键,当仅剩最后一个分区键时,不可删除。
- 分区键:
- 是否分区
- 分桶配置
- 分桶键,非必选。支持添加多个分桶键,支持删除任意一个分桶键。
- 分桶数量,非必填
- 参数设置:支持填写 Paimon 创建表时支持指定的所有参数
选择已有表
- 配置字段映射
映射设置(批量映射)
映射设置中,支持对数据映射进行自动映射配置,可以进行匹配已有表、创建新表、匹配优先,当不执行映射设置时可以选择不匹配表。
- 表相关设置:
- 创建新表:支持批量配置表类型、数据合并引擎、存储文件类型、参数设置、表名称创建规则
- 匹配已有表:支持配置表名称匹配规则、匹配时是否忽略大小写
- 匹配优先
- 不匹配
- 字段相关设置:支持配置字段名称新建规则、字段名称够匹配规则、新增字段创建规则、匹配过程中是否忽略大小写。
- 当表相关设置中选择创建新表时,仅字段名称新建规则生效。
- 当表相关设置中选择匹配已有表时,字段名称匹配规则、新增字段创建规则、匹配过程中是否忽略大小写生效。
- 高级清洗设置:支持批量为目的地表添加高级清洗