版本:v4.12
配置 Hudi 数据目的地表映射
配置 Hudi 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
Hudi 数据节点作为目的地节点时,Hudi Java Client 支持新建无分区表、单值分区表。支持配置表的存储路径、表存储类型、以及配置是否将数据同步到 Hive。目前可通过修改 BathPath 以及表名的方式写入已有表,但您需要确保同步数据的表结构与已有表的表结构一致。
操作步骤
- 点击表映射按钮,切换至表映射 Tab。
- 点击数据源按钮,切换至您需要配置的 Hudi 数据目的地。
- 点击选择同步列表按钮,选择数据源中您需要同步的表。选择完成后数据目的地将会展现对应行。
- Hudi 数据目的地支持新建表。
- 点击「创建新表」,系统自动将源端表名赋值到 Hudi 目的地表。
- 完成「写入设置」
- 表存储类型:支持您配置表存储类型为“Copy On Write”或“Merge On Read”。
- BasePath:BasePath 由“根路径”,此处输入的相对路径,表名称共同组成。“根路径”为创建节点时配置的绝对路径。
- 同步到 Hive:开启同步到 Hive,系统将自动将 Hudi 表同步至 Hudi 节点详情页面配置的 Hive 库。 注意:当您的节点开启 Kerberos 认证后,元数据同步至 Hive 功能将不可用。
- 动态目录定义:Hudi 支持定义(多层)单值分区。您可以使用系统提供的函数与系统参数组成的表达式或者引用目的地表字段来自定义单值分区键,同时也可以引用目的地端字段名来定义范围分区键。
- 分区类型:可选择无、单值分区
- 单值分区:点击添加,可选择表达式定义和字段定义
- 表达式定义:支持利用系统参数以及系统函数来组成表达式定义分区键。分区目录将按照您配置的分区顺序自动进行嵌套。
- 字段定义:支持选择目的地字段定义分区键。\ 注意:您需要先创建该表,保存字段映射中的配置,才能选择目的地字段。
- 参数设置:DataPipeline 支持您为每张表配置参数。\ 以下是并发写表的参数配置示例,如果您需要多个数据任务同时并发写表,则该表所在的每条映射都需要配置以下参数。
| KEY | VALUE | 说明 |
|---|---|---|
| hoodie.write.lock.provider | com.datapipeline.sink.connector.hudi.HoodieRedisLock | |
| hoodie.write.lock.redis.lock_key | xiaohu_BF_20220404 | 请配置实际 lock_key |
| hoodie.write.concurrency.mode | OPTIMISTIC_CONCURRENCY_CONTROL | |
| hoodie.cleaner.policy.failed.writes | LAZY | |
| hoodie.write.lock.client.num_retries | 5 | |
| hoodie.write.lock.wait_time_ms | 1000 | |
| hoodie.write.lock.redis.base_path | /user/xiaohu/hudi/xiaohu_BF_20220404 | 请配置实际 base_path |
| hoodie.metadata.enable | false | 当您选择 Hudi 0.11.0 版本时,必须在在数据映射-写入设置-参数设置中添加此配置,且必须置为 false |