版本:v5.7
Paimon
配置要求
在进行配置之前,请务必检查您的 Paimon 数据节点是否符合平台要求,参考如下:
| 要求 | 详情 |
|---|---|
| 版本要求 | + 数据目的地支持 Paimon 0.5.0-incubating 版本 + 数据目的地支持 Paimon 1.0.1 版本(HDFS文件系统\&JuiceFS文件系统) |
| 权限要求 | + JAVA Client 写入 - Paimon 0.5.0-incubating HDFS 文件写入目录的读写权限 - Paimon 1.0.1 HDFS 文件写入目录的读写权限,或者 JuiceFS 文件写入目录的读写权限 |
| 其他要求 | + 无 |
操作步骤
新建弹窗界面选择了 Paimon 节点类型之后,显示 Paimon 的基本信息配置模板:
连接配置:
- 名称:必须填写,50字符限制,是该数据源在 DataPipeline 的唯一标识,不允许重复
- 描述:选填
- 项目:必选,默认为「未分组」
- 类型:必选
- 版本:必选
- 文件系统类型:可选HDFS文件系统,或者JuiceFS文件系统(仅版本选择为1.0.1时可选)
- HDFS 配置/JuiceFS配置:必填,需上传 core-site.xml、hdfs-site.xml、hive-site.xml文件
- 根目录:必填,HDFS/JuiceFS上数据存储的根目录
- 数据库:必选,当您选择用户权限所有库时,在链路和任务中可以使用连接用户有权限的所有数据库;当您指定数据库后,在链路和任务中仅能使用指定的数据库。这里的数据库本质上是一个路径,示例:/hdfs/paimon/test.db
- 用户名:连接 HDFS 的用户名
- 认证方式:必选,支持信任认证和 Kerberos 认证
- 连接参数:输入 Paimon JAVA CLIENT 连接支持的所有连接参数
注意事项
- Paimon 支持做数据目的地,暂不支持做数据源。
支持的数据类型
| 序号 | 字段类型 | 是否支持 |
|---|---|---|
| 1 | INTEGER | |
| 2 | TINYINT | 支持 |
| 3 | SMALLINT | 支持 |
| 4 | BIGINT | 支 |
| 5 | DOUBLE | 支持 |
| 6 | ARRAY | 不支持 |
| 7 | CHAR | 支持 |
| 8 | VARCHAR | 支持 |
| 9 | BOOLEAN | 支持 |
| 10 | DATE | 支持 |
| 11 | TIME | 支持 |
| 12 | TIMESTAMP | 支持 |
| 13 | TIMESTAMP_WITH_LOCAL_TIME_ZONE | 支持 |
| 14 | DECIMAL | 支持 |
| 15 | FLOA | 支持 |
| 16 | ROW | 不支持 |
| 17 | BINARY | 支持 |
| 18 | VARBINARY | 支持 |
| 19 | MULTISET | 不支持 |