跳到主要内容
版本:v4.23

配置要求

在进行配置之前,请务必检查您的 阿里云Iceberg数据节点是否符合平台要求,参考如下:

要求详情
版本要求数据目的地文件写入方式,支持阿里云 Iceberg 1.5.2
权限要求文件写入:需要 HDFS 对应路径的读写权限
其他要求Hive 的 Metastore server 权限

Iceberg文件写入方式通过连接到 Metastore 写入表结构并通过 HDFS 客户端进行文件写入,该写入模式支持将源端数据写入 HDFS 目的地端的 Parquet、Avro、ORC 类型文件,并且支持新建外部表、分区表。

操作步骤

1.用户点击「添加数据节点」按钮,弹出添加数据节点弹窗,填写名称、描述后选择节点类型为 Iceberg。

  • 名称:必填项,最多可填 50 个字符,节点名称是该节点在系统的唯一标识。
  • 描述:非必填项,无字符长度限制, 用户可自定义内容来描述和区分节点。
  • 项目
  • 类型:下拉列表,选择数据节点类型。

2.补充 Iceberg客户端连接配置信息并保存数据

  • 平台:ALI-MAPREDUCE
  • 平台版本:EMR-5.17.1
  • 节点版本:支持iceberg 1.5.2
  • 数据库:必填项,可以选择用户权限的所有库或者填写连接数据库的名称。
  • 写入根目录:非必填项,需要填写 Hive 目的地的主路径,要求填写绝对路径
  • HDFS 用户名:必填项,HDFS 用户名用于读取 hive 表映射路径下的文件数据,若该用户名无权限访问,则无法读取和写入数据。
  • 认证方式:必选项,选项:信任认证、kerberos 认证
    • 选择 kerberos:需要配置:krb5.conf、Hive Principal、Hive Keytab
  • 暂不支持 String 类型分区的增量同步及范围同步。

节点特性

字段类型​

支持的字段类型

序号字段类型
1INT
2LONG
3TIME(p)
4FLOAT
5DOUBLE
6DECIMAL(p,s)
7STRING
8BOOLEAN
9UUID
10DATE
11BINARY
12TIMESTAMP
13TIMESTAMP WITH TIME ZONE
14TIMESTAMP(fractional_seconds_precision) WITH TIME ZONE

表模型及表写入引擎​

约束及限制