版本:v5.12
Hudi
配置要求
在进行配置之前,请务必检查您的Hudi数据节点是否符合平台要求,参考如下:
| 要求 | 支持的平台 | 版本和写入模式说明 | Spark 相关组件版本要求 |
|---|---|---|---|
| 版本要求 | CDH 平台 | 1. Hudi 0.9.0:支持 Spark 3.0.x 版本写入和 JDBC 写入 2. Hudi 0.10.0:支持 Spark 3.1.x、3.0.x 版本写入和 JDBC 写入 | 1. hadoop 2.x 版本 2. scala 2.1.2 版本 3. jackson 1.13 版本 |
| MRS 平台 | 1. Hudi 0.9.0:支持 Spark 3.3.x 版本写入和 JDBC 写入 2. Hudi 0.11.0:支持 Spark 3.1.x、3.2.x 版本写入和 JDBC 写入 3. Hudi 0.15.0:支持 Spark 3.3.x 版本写入和 JDBC 写入 | ||
| 权限要求 | 数据写入需要 + CREATE + TABLE + UPSERT + INSERT + BULK INSERT + DELETE权限 | ||
| 其他要求 | 无 |
操作步骤
- 新建弹窗界面选择了Hudi节点类型之后,显示Hudi的基本信息配置模板:
- 平台版本与 Hudi 版本:
- 选择 MRS 平台,Hudi 版本可选 0.9.0、0.11.0、0.15.0
- 选择 CDH 平台,Hudi 版本可选 0.9.0、0.10.0
- JDBC配置
- HDFS 配置:必填项。可上传多个文件,上传多个文件时,从上到下按时间排序显示,同名文件夹不覆盖 最新上传的配置文件中的配置会覆盖之前上传过的配置文件中的配置 需要上传 core-site.xml、hdfs-site.xml文件。请参考官方说明: http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/ClusterSetup.html
- 根目录:必填项。请输入绝对路径,此处表示Hudi表存放的根目录。
- 用户名:必填项。Hudi用户名用于读取Hudi表映射路径下的文件数据,若该用户名无权限访问,则无法读取和写入数据。
- 认证类型:必选项,选项:无、kerberos
- 选择kerberos:需要配置:krb5.conf、HDFS Principal、HDFS Keytab
- 连接参数:非必填项,DataPipeline为您提供了Hudi节点连接的默认参数,您可根据实际情况修改或添加参数配置。参数详细说明请参见Hudi官方文档。
| KEY | VALUE |
|---|---|
| hoodie.insert.shuffle.parallelism | 10 |
| hoodie.upsert.shuffle.parallelism | 10 |
| hoodie.delete.shuffle.parallelism | 10 |
| hoodie.index.type | BLOOM |
| hoodie.keep.max.commits | 30 |
| hoodie.keep.min.commits | 20 |
- Spark连接配置:当您需要实时读取 Merge On Read 表的增量数据时,请配置 Spark URL,使用 Spark 写入方式。Spark 将自动为 Merge On Read 表在线压缩增量文件。
- Spark URL:请输入Spark URL地址。
- 连接参数:非必填项,DataPipeline为您提供了Hudi节点连接的默认参数,您可根据实际情况修改或添加参数配置。参数详细说明请参见Hudi官方文档。
| KEY | VALUE |
|---|---|
| spark.serializer | org.apache.spark.serializer.KryoSerializer |
2.点击「保存」,跳转到节点详情页。
- Hive 数据写入配置:如果您需要将Hudi数据写入Hive,请开启”同步到Hive“开关。该配置默认为关闭状态。
- 操作步骤:
- 节点详情页"Hive 数据写入配置”点击「编辑」,弹出Hive数据写入配置对话框。
- 开启"同步到Hive"开关
- 填写以下配置信息:
- 服务器地址:必填项,请输入连接Hive的域名或IP地址。
- 端口:必填项,请输入连接Hive的端口值。
- 数据库:必填项,请输入表存放Hive数据库的数据库名称。
- 用户名:必填项,请输入连接Hive数据库的用户名。
- 认证方式:
- 无:需要配置用户名(必填),密码(非必填)
- Kerberos:需要配置:krb5.conf、HDFS Principal、HDFS Keytab
- LDAP:需要配置用户名(必填),密码(必填)
- 点击「保存」。
- 点击基本配置信息「可用性校验」进行Hive信息可用性校验。如果校验成功,Hudi写入模式为通过状态。如果校验失败,Hudi写入模式为未通过状态,您需要调整Hive配置信息,再次保存信息进行可用性校验操作。
- 操作步骤: