版本:v5.2
配置要求
在进行配置之前,请务必检查您的 阿里云Iceberg数据节点是否符合平台要求,参考如下:
| 要求 | 详情 |
|---|---|
| 版本要求 | 数据目的地文件写入方式,支持阿里云 Iceberg 1.5.2 |
| 权限要求 | 文件写入:需要 HDFS 对应路径的读写权限 |
| 其他要求 | Hive 的 Metastore server 权限 |
Iceberg文件写入方式通过连接到 Metastore 写入表结构并通过 HDFS 客户端进行文件写入,该写入模式支持将源端数据写入 HDFS 目的地端的 Parquet、Avro、ORC 类型文件,并且支持新建外部表、分区表。
操作步骤
1.用户点击「添加数据节点」按钮,弹出添加数据节点弹窗,填写名称、描述后选择节点类型为 Iceberg。
- 名称:必填项,最多可填 50 个字符,节点名称是该节点在系统的唯一标识。
- 描述:非必填项,无字符长度限制, 用户可自定义内容来描述和区分节点。
- 项目
- 类型:下拉列表,选择数据节点类型。
2.补充 Iceberg客户端连接配置信息并保存数据
- 平台:ALI-MAPREDUCE
- 平台版本:EMR-5.17.1
- 节点版本:支持iceberg 1.5.2
- 文件连接配置:
- HDFS 配置:需要上传 core-site.xml、hdfs-site.xml 文件。请参考官方说明: http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/ClusterSetup.html
- 可上传多个文件,上传多个文件时从上到下按时间递增排序显示
- 最新上传的配置文件中的配置会覆盖之前上传过的配置文件中的配置,同名文件夹不覆盖
- 数据库:必填项,可以选择用户权限的所有库或者填写连接数据库的名称。
- 写入根目录:非必填项,需要填写 Hive 目的地的主路径,要求填写绝对路径
- HDFS 用户名:必填项,HDFS 用户名用于读取 hive 表映射路径下的文件数据,若该用户名无权限访问,则无法读取和写入数据。
- 认证方式:必选项,选项:信任认证、kerberos 认证
- 选择 kerberos:需要配置:krb5.conf、Hive Principal、Hive Keytab
- 暂不支持 String 类型分区的增量同步及范围同步。
节点特性
字段类型
支持的字段类型
| 序号 | 字段类型 |
|---|---|
| 1 | INT |
| 2 | LONG |
| 3 | TIME(p) |
| 4 | FLOAT |
| 5 | DOUBLE |
| 6 | DECIMAL(p,s) |
| 7 | STRING |
| 8 | BOOLEAN |
| 9 | UUID |
| 10 | DATE |
| 11 | BINARY |
| 12 | TIMESTAMP |
| 13 | TIMESTAMP WITH TIME ZONE |
| 14 | TIMESTAMP(fractional_seconds_precision) WITH TIME ZONE |