跳到主要内容
版本:v5.12

Hudi

配置要求​

在进行配置之前,请务必检查您的Hudi数据节点是否符合平台要求,参考如下:

要求支持的平台版本和写入模式说明Spark 相关组件版本要求
版本要求CDH 平台1. Hudi 0.9.0:支持 Spark 3.0.x 版本写入和 JDBC 写入
2. Hudi 0.10.0:支持 Spark 3.1.x、3.0.x 版本写入和 JDBC 写入
1. hadoop 2.x 版本
2. scala 2.1.2 版本
3. jackson 1.13 版本
MRS 平台1. Hudi 0.9.0:支持 Spark 3.3.x 版本写入和 JDBC 写入
2. Hudi 0.11.0:支持 Spark 3.1.x、3.2.x 版本写入和 JDBC 写入
3. Hudi 0.15.0:支持 Spark 3.3.x 版本写入和 JDBC 写入
权限要求数据写入需要
+ CREATE
+ TABLE
+ UPSERT
+ INSERT
+ BULK INSERT
+ DELETE权限
其他要求无

操作步骤​

  1. 新建弹窗界面选择了Hudi节点类型之后,显示Hudi的基本信息配置模板:
  • 平台版本与 Hudi 版本:
    • 选择 MRS 平台,Hudi 版本可选 0.9.0、0.11.0、0.15.0
    • 选择 CDH 平台,Hudi 版本可选 0.9.0、0.10.0
  • JDBC配置
    • HDFS 配置:必填项。可上传多个文件,上传多个文件时,从上到下按时间排序显示,同名文件夹不覆盖 最新上传的配置文件中的配置会覆盖之前上传过的配置文件中的配置 需要上传 core-site.xml、hdfs-site.xml文件。请参考官方说明: http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/ClusterSetup.html
    • 根目录:必填项。请输入绝对路径,此处表示Hudi表存放的根目录。
    • 用户名:必填项。Hudi用户名用于读取Hudi表映射路径下的文件数据,若该用户名无权限访问,则无法读取和写入数据。
    • 认证类型:必选项,选项:无、kerberos
      • 选择kerberos:需要配置:krb5.conf、HDFS Principal、HDFS Keytab
    • 连接参数:非必填项,DataPipeline为您提供了Hudi节点连接的默认参数,您可根据实际情况修改或添加参数配置。参数详细说明请参见Hudi官方文档。
KEYVALUE
hoodie.insert.shuffle.parallelism10
hoodie.upsert.shuffle.parallelism10
hoodie.delete.shuffle.parallelism10
hoodie.index.typeBLOOM
hoodie.keep.max.commits30
hoodie.keep.min.commits20
  • Spark连接配置:当您需要实时读取 Merge On Read 表的增量数据时,请配置 Spark URL,使用 Spark 写入方式。Spark 将自动为 Merge On Read 表在线压缩增量文件。
    • Spark URL:请输入Spark URL地址。
    • 连接参数:非必填项,DataPipeline为您提供了Hudi节点连接的默认参数,您可根据实际情况修改或添加参数配置。参数详细说明请参见Hudi官方文档。
KEYVALUE
spark.serializerorg.apache.spark.serializer.KryoSerializer

2.点击「保存」,跳转到节点详情页。

  • Hive 数据写入配置:如果您需要将Hudi数据写入Hive,请开启”同步到Hive“开关。该配置默认为关闭状态。
    • 操作步骤:
      1. 节点详情页"Hive 数据写入配置”点击「编辑」,弹出Hive数据写入配置对话框。
      2. 开启"同步到Hive"开关
      3. 填写以下配置信息:
        • 服务器地址:必填项,请输入连接Hive的域名或IP地址。
        • 端口:必填项,请输入连接Hive的端口值。
        • 数据库:必填项,请输入表存放Hive数据库的数据库名称。
        • 用户名:必填项,请输入连接Hive数据库的用户名。
        • 认证方式:
          • 无:需要配置用户名(必填),密码(非必填)
          • Kerberos:需要配置:krb5.conf、HDFS Principal、HDFS Keytab
          • LDAP:需要配置用户名(必填),密码(必填)
      4. 点击「保存」。
      5. 点击基本配置信息「可用性校验」进行Hive信息可用性校验。如果校验成功,Hudi写入模式为通过状态。如果校验失败,Hudi写入模式为未通过状态,您需要调整Hive配置信息,再次保存信息进行可用性校验操作。