跳到主要内容
版本:v4.6

配置 SFTP 节点

配置要求​

在进行配置之前,请务必检查您的 SFTP 数据节点是否符合平台要求,参考如下:

要求详情
版本要求无
权限要求登录、访问和写入权限
其他要求无

SFTP 文件读取方式是通过 SFTP 客户端进行文件读取,该读取模式支持读取 CSV、Json 类型文件的定时全量读取。
SFTP 文件写入方式是通过 SFTP 客户端进行文件写入,该写入模式支持将源端数据写入 SFTP 目的地端的 CSV、Json 类型文件,并且支持写入动态文件目录。

操作步骤​


1.用户点击「添加节点」按钮,弹出添加数据节点弹窗,配置节点基本信息:
  • 名称
  • 服务器地址
  • SFTP 端口
  • 用户名
  • 密码
  • 根目录地址
  • SSH 认证文件
  • 私钥口令(选填)
  • 连接参数(选填)
  1. 填写完基础配置信息,点击「保存」,可选择是否进行可用性校验。可用性校验后将自动跳转到节点详情页。
  • 可用性校验:可以对该节点是否能连接成功以及权限进行校验,并将校验结果显示在节点详情页面的连接模式处

3.如果要使用 SFTP 作为数据源,需要补充 SFTP 源文件配置
  • 自定义参数:自定义参数可以用于自定义 SFTP 数据源文件目录以及文件名,您可以通过表达式以及外部赋值的方式来定义参数,在文件名里引用参数需要用 "[$time]。
    • 参数名称:限制 50 个字符长度;
    • 类型:可选数字、时间
    • 参数定义:可选表达式定义、外部赋值
      • 点击「表达式定义」,
        • 当类型选择为数字时:
          • 弹窗配置项:数字格式、自增规律
          • 数字格式:支持用 Java 数字格式化的方式定义数字格式,常见的格式如: 1.%d 表示实际长度的十进制整型数据 2.%04d 表示在前面补 0 的至少四位的十进制整型数据,如:0001、0002、0003...
          • 自增规律选项:自增 1、请输入表达式(该选项暂时不支持)
        • 当类型选择为时间时:
          • 弹窗配置项:日期格式、自增规律
          • 日期格式:请用 ISO 8601 表示法输入日期格式,如 yyyy-MM-dd 注意:支持用 yyyy 表示年份,MM 表示月份,dd 表示天,HH 表示时,mm 表示分,ss 表示秒。中间允许使用’-‘以及来分隔,如:yyyy-MM-dd-HH-mm-ss。 不支持冒号':'、空格' '、斜线'/'、反斜线''
      • 点击「外部赋值」:
        • 弹窗可切换 tab:接口赋值、数据库赋值
          • 点击「接口赋值」: 配置项为接口赋值,支持填写 URL 进行接口赋值;
          • 点击「数据库赋值」: 配置项为选择节点、选表、选择字段;
            • 点击选择节点,可选择系统内已存在的节点或者新建节点,但仅允许选择一个节点; 点击选表,仅允许选择一张表; 点击选择字段,仅允许选择一个字段;
  • 源文件配置:
    • 同步文件路径:输入包含子目录的文件名(如/data/[$time]/file_name)
    • 标志文件名:标志文件用于判断同步文件是否处于就绪状态。您可以自定义标志文件名,当系统读取到标志文件时,同步文件即进入就绪状态,相关数据任务可以读取同步文件;当系统未读取到标志文件时,相关数据任务不可以读取同步文件。
    • 文件类型:可选 csv、json 文件配置
      • 当文件类型选择为 csv 时:
        • 编码方式:请输入合法文件编码的规范名称,如 UTF-8
        • 字段分隔符:可选分号、逗号、列表、空格、双引号、自定义。自定义分隔符支持指定字符串或16进制ASCII码为分隔符。字符串支持多字符分隔符,如asc2 Unicode等。当您选择16进制ASCII码,DataPipeline在读取文件时将自动把输入的16进制ASCII码转为对应字符。
        • 行分隔符:可选标准EOL,自定义。自定义分隔符支持指定字符串或16进制ASCII码为分隔符。字符串支持多字符分隔符,如asc2 Unicode等。当您选择16进制ASCII码,DataPipeline在读取文件时将自动把输入的16进制ASCII码转为对应字符。
        • 压缩格式:可选不压缩、gz、 tar.gz、bz2、tar.bz2、 zip 、7z
        • 忽略的行数:输入忽略文件头的行数,在读取时将会忽略该几行数据
        • 文件尾:输入忽略文件尾的行数,在读取时将会忽略该几行数据
        • 注:分隔符与定界符、转义符之间任意两者不能重复
      • 当文件类型为 json 时:
        • 编码方式:输入合法文件编码的规范名称,如 UTF-8
        • 压缩格式:可选不压缩、gz、 tar.gz、bz2、tar.bz2、 zip 、7z