跳到主要内容
版本:v2.7

配置S3数据源

在进行配置之前,请务必检查您的FTP数据源是否符合平台要求,参考如下:

数据源类型版本要求用户权限要求其他要求
AWS S3无相关视图和表的SELECT 权限无

确认完毕后,点击「新建数据源」,选择「S3」进行新建操作:

参数介绍

  • 数据源名称:是该数据源在DataPipeline的唯一标识
  • Bucket:输入用户使用的Bucket。
  • 地区:选择用户的S3服务器位置。
  • 访问权限:您可以选择获取访问S3权限的方式,其中有
    • Role:使用AWS角色委托授权以获取S3权限。


* Access Key:需要输入Access Key ID 和 Access Key

  • SQS:输入用户使用的SQS名称
    • 要求数据源 Bucket 绑定 SQS
    • SQS只允许被一个数据任务消费
    • SQS用来记录bucket 中发生某些事件时的消息通知,系统会根据所记录的变化通知去读变化的文件,而无需扫描全部的历史文件。
  • 文件类型:只支持CSV类型
  • 表结构
    • 静态:
      1、指每个文件的表结构是一致的
      2、支持同步到所有目的地类型
      • 设置首行为字段名称(单选)
        • 是:读取文件时忽略第一行数据。
          • 需要设置表头
          • 多个表头用英文逗号隔开
          • 不允许为空
        • 否:会从文件第一行数据开始同步。

  • 动态:
    1、指允许同步表结构不一致的文件到目的地
    2、支持的数据目的地类型:Kafka、FTP、HDFS、Greenplum

  • 目录:输入数据源读取目录地址,允许为空。

    • 如果目录为空,创建任务时目的地表名称默认为default
  • 编码方式:输入数据源数据的编码方式(支持所有合法的文件编码方式)。

  • 文件分隔符(三选一)

    • 逗号
    • 水平制表
    • 自定义
    • 输入规则为:
      • 分隔符可为任意字符,支持空格、转义字符等特殊字符;
      • 可以直接输入的字符,在输入框中直接输入字符或者用Unicode来表示,例如: 分隔符为空格,则直接用键盘输入"空格",或者输入"\u0020"即可;
      • 无法直接输入的字符,则应输入字符的对应Unicode或者用下表对应转义字符输入,例如:分隔符为换行,则输入"\n",或者输入"\u000a"。 | 字符 | 表示 | | --- | --- | | \b | \u0008,退格(BS) ,将当前位置移到前一列 | | \f | \u000c,换页(FF),将当前位置移到下页开头 | | \n | \u000a,换行(LF) ,将当前位置移到下一行开头 | | \r | \u000d,回车(CR) ,将当前位置移到本行开头 | | \t | \u0009,水平制表(HT) ,跳到下一个TAB位置 |
  • 元数据管理:开启和关闭,默认是开启

    • 开启提示文案:指该数据源允许编辑和查看元数据信息
    • 关闭提示文案:指该数据源不允许编辑和查看元数据信息
  • 点击连接后将验证数据源连接配置并同时检验数据源版本、权限等信息;

  • 成功连接后将会自动打开该数据源的详情页:

* 特别地,若分隔符要求保留"\",则需输入两个“\”来表示,例如:分隔符为字符串"\b",则请输入"\\b"。