跳到主要内容
版本:v2.7

创建文件同步

文件同步

1、什么是文件同步​

DataPipeline目前已支持同步数据源的数据到目的地,在此基础上,我们也支持将数据源的整个文件直接同步到目的地,两者的区别在与文件同步是将整个文件都同步到目的地而不去读取里面的数据。

2、创建文件任务能做什么?​

  1. 支持连接文件作为文件源。
  2. 支持文件作为文件目的地。
  3. 支持同时执行多个文件任务来完成文件迁移工作。
  4. 支持设置白名单和黑名单来实现文件同步。
  5. 有强大的运维数据监控系统。

3、如何创建文件任务?​

使用DataPipeline创建一项数据任务,主要分三个步骤:

  1. 配置文件源和文件目的地
  1. 进行任务设置
  1. 激活文件任务

1.在首页,点击「新建文件任务」。​

2.配置任务名称,选择文件源和文件目的地。​

  • 用户可以自定义命名文件任务名称,最多50字符,不允许与其他任务同名。
  • 用户可根据自身需求,配置所需的文件源和文件目的地。
    • 目前支持配置的文件源:S3、FTP文件
    • 目前支持配置的文件目的地:HDFS文件
  • 若为首次创建任务,需要添加文件源和文件目的地,并确认文件源和文件目的地配置符合平台要求。详情请参考:
    如何配置文件源?
    如何配置文件目的地?
  • 配置完成后,用户可以点击选择需要的文件源和文件目的地。

3.完成第一步后,点击「下一步」,需要用户对任务进行设置。​

  • 在这个页面,用户需要对任务进行个性化的配置,在这个页面支持对任务参与人、读取频率以及白名单、黑名单等详细的内容进行设置。
    • 参与人设置:
      • 参与人能够浏览、编辑该任务,并受到该任务相关通知;
    • 读取频率
      • 支持用户设置读取频率;
    • 白名单和黑名单
      • 支持用户关闭或者用正则表达式设置白名单和黑名单;
  • 每个设置都已经预设了默认值,当您熟悉了解各项设置内容后,可以快速点击下一步进入后续创建流程。

4.激活并查看数据任务。​

  • 点击「立即激活」,该任务会立刻开始同步数据。
  • 概览Tab下可以看到任务的整体同步状态以及每个数据表(集合)的同步信息。

  • 任务设置Tab下可以对任务通用配置进行灵活修改,实时调配任务的资源,设定通知等相关内容。
  • 消息列表Tab下可以看到该任务历史错误信息及操作记录。
  • 激活后,文件任务的配置信息不可更改。