版本:v2.7
配置HDFS数据目的地
配置HDFS数据目的地
在进行配置之前,请务必检查您的HDFS数据目的地是否符合平台要求,参考如下:
| 目的地类型 | 版本要求 | 用户权限要求 | 其他要求 |
|---|---|---|---|
| HDFS | 2.6.x、2.7.x | 对应目录的读写权限 | 无 |
点击「新建数据目的地」,选择「HDFS数据目的地」进行新建操作:
数据目的地名称:是该数据目的地在DataPipeline的唯一标识。
HDFS配置
可选择url方式或上传文件方式- 上传配置文件:
- 点击上传配置文件按钮会出现弹框需要用户选择上传的文件,支持上传XML格式的配置文件。
- 需要上传 core-site.xml、hdfs-site.xml、hive-site.xml文件。请参考官方说明: http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/ClusterSetup.html
- 上传配置文件:
写入目录
- 输入文件的写入目录
用户名
- 输入可访问该数据目的地的HDFS用户名,要求该用户有访问写入目录的权限。
写入格式
PARQUET、AVRO、LZO、CSV
选择CSV要求用户设置分隔符
- 逗号、水平制表、自定义
- 自定义输入规则为:
- 分隔符可为任意字符,支持空格、转义字符等特殊字符;
- 可以直接输入的字符,在输入框中直接输入字符或者用Unicode来表示,例如: 分隔符为空格,则直接用键盘输入"空格",或者输入"\u0020"即可;
- 无法直接输入的字符,则应输入字符的对应Unicode或者用下表对应转义字符输入,例如:分隔符为换行,则输入"\n",或者输入"\u000a"。 | 字符 | 表示 | | --- | --- | | \b | \u0008,退格(BS) ,将当前位置移到前一列 | | \f | \u000c,换页(FF),将当前位置移到下页开头 | | \n | \u000a,换行(LF) ,将当前位置移到下一行开头 | | \r | \u000d,回车(CR) ,将当前位置移到本行开头 | | \t | \u0009,水平制表(HT) ,跳到下一个TAB位置 |
特别地,若分隔符要求保留"",则需输入两个“\”来表示,例如:分隔符为字符串"\b",则请输入"\b"。
成功连接后将会自动打开该数据目的地的详情页。