版本:v3.7
配置 HDFS 节点
配置要求
在进行配置之前,请务必检查您的 HDFS 数据节点是否符合平台要求,参考如下:
| 要求 | 详情 |
|---|---|
| 版本要求 | 支持CDH HDFS 2.6.x、2.7.x、3.0.0,华为MRS HDFS最新 版本 |
| 权限要求 | 对应目录的读写权限 |
| 其他要求 | 无 |
HDFS 文件读取方式是通过 HDFS 客户端进行文件读取,该读取模式支持读取 CSV、PARQUET、Avro 类型文件的定时全量读取。
HDFS 文件写入方式是通过 HDFS 客户端进行文件写入,该写入模式支持将源端数据写入 HDFS 目的地端的 CSV、PARQUET、Avro 类型文件,并且支持写入动态文件目录。
操作步骤
1.用户点击「添加数据节点」按钮,弹出添加数据节点弹窗,填写名称、描述后选择节点类型为 HDFS,点击「保存」,跳转到节点详情页。
- 名称:必填项,最多可填 50 个字符,节点名称是该节点在系统的唯一标识。
- 描述:非必填项,无字符长度限制,用户可自定义内容来描述和区分节点。
- 类型:下拉列表,可选 MySQL、Oracle、MS SQL Server、PostgreSQL、TiDB、Kafka、Redis、SequoiaDB、Greenplum、Amazon Redshift、IBM Db2、FTP、HDFS\ 2.补充 HDFS 客户端连接配置信息并保存
- HDFS 配置:可上传多个文件,上传多个文件时,从上到下按时间排序显示,同名文件夹不覆盖 最新上传的配置文件中的配置会覆盖之前上传过的配置文件中的配置 需要上传 core-site.xml、hdfs-site.xml 文件。请参考官方说明: http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/ClusterSetup.html
- 根目录:请输入绝对路径
- 认证方式:必选项,选项:无、LDAP、kerberos
- 选择 LDAP: 需要配置:密码
- 选择 kerberos:需要配置:krb5.conf、HDFS Principal、HDFS Keytab
3.如果要使用 HDFS 作为数据源,需要补充 HDFS 源文件配置
- 自定义参数:自定义参数可以用于自定义 HDFS 数据源文件目录以及文件名,您可以通过表达式以及外部赋值的方式来定义参数,在文件名里引用参数需要用 "[$time]。
- 参数名称:限制 50 个字符长度;
- 类型:可选数字、时间
- 参数定义:可选表达式定义、外部赋值
- 点击「表达式定义」,
- 当类型选择为数字时:
- 弹窗配置项:数字格式、自增规律
- 数字格式:支持用 Java 数字格式化的方式定义数字格式,常见的格式如: 1.%d 表示实际长度的十进制整型数据 2.%04d 表示在前面补 0 的至少四位的十进制整型数据,如:0001、0002、0003...
- 自增规律选项:自增 1、请输入表达式(该选项暂时不支持)
- 当类型选择为时间时:
- 弹窗配置项:日期格式、自增规律
- 日期格式:请用 ISO 8601 表示法输入日期格式,如 yyyy-MM-dd 注意:支持用 yyyy 表示年份,MM 表示月份,dd 表示天,HH 表示时,mm 表示分,ss 表示秒。中间允许使用’-‘以及来分隔,如:yyyy-MM-dd-HH-mm-ss。 不支持冒号':'、空格' '、斜线'/'、反斜线''
- 当类型选择为数字时:
- 点击「外部赋值」:
- 弹窗可切换 tab:接口赋值、数据库赋值
- 点击「接口赋值」: 配置项为接口赋值,支持填写 URL 进行接口赋值;
- 点击「数据库赋值」: 配置项为选择节点、选表、选择字段;
- 点击选择节点,可选择系统内已存在的节点或者新建节点,但仅允许选择一个节点; 点击选表,仅允许选择一张表; 点击选择字段,仅允许选择一个字段;
- 弹窗可切换 tab:接口赋值、数据库赋值
- 点击「表达式定义」,
- 添加同步文件:
- 同步文件路径:输入包含子目录的文件名(如/data/[$time]/file_name)
- 文件类型:可选 csv、json 文件配置
- 当文件类型选择为 csv 时:
- 编码方式:请输入合法文件编码的规范名称,如 UTF-8
- 字段分隔符:可选分号、逗号、列表、空格、双引号、自定义(支持多字符分隔符,如 asc2 Unicode 等)
- 行分隔符:可选标准 EOL,自定义(支持多字符分隔符,如 asc2 Unicode 等)
- 压缩格式:可选不压缩、gz、 tar.gz、bz2、tar.bz2、 zip 、7z
- 忽略的行数:输入忽略文件头的行数,在读取时将会忽略该几行数据
- 文件尾:输入忽略文件尾的行数,在读取时将会忽略该几行数据
- 注:分隔符与定界符、转义符之间任意两者不能重复
- 当文件类型为 Avro 时:
- Avro schema:上传 Avro schema
- 压缩格式:可选不压缩、snappy、bz2、xz、deflate
- 当文件类型为 PARQUET 时:
- 样例数据:上传样例数据
- 压缩格式:可选不压缩、snappy、gz、lzo、lz4、br、zstd
- 当文件类型选择为 csv 时: