跳到主要内容
版本:v2.7

FTP文件系统读取设置

FTP文件系统读取设置​

  • 读取频率,要求用户输入读取频率,默认为 60秒,允许使用Cron表达式。
  • 白名单
    • 默认为「关闭」,则系统会读取FTP数据源指定的路径下所有文件。
    • 用户选择「开启」,则需要用户输入读取文件名称,支持输入正则表达式。系统只会读取符合白名单规则的文件。
      • 常用场景:用户要求只读取csv文件,则选择开启白名单后输入「.+.csv$」
  • 黑名单
    • 默认为「关闭」,则系统会读取FTP数据源指定的路径下所有文件。
    • 用户选择「开启」,则需要用户输入读取文件名称,支持输入正则表达式。
      • 常用场景:用户要求不读取「.temp」结尾的文件,则选择开启黑名单后输入「.+.tmp$」
  • 数据源高级设置
    • 传输队列最大缓存值
      • 任务开始读取数据后,单个任务默认缓存10GB数据(读写数据量差),用户可自定义。
      • 读写数据量差达到10GB(最大缓存值时),根据先进先出的原则,旧数据将会被回收。
      • 当任务数据读写速率失衡,读写数据量差大于10GB(最大缓存值)时,将会出现部分数据被回收,未能成功写入数据目的地的情况。
    • 传输队列回收时间
      • 任务开始读取数据后,但个任务默认缓存3天数据,用户可自定义。
      • 缓存数据达到回收时间,旧数据将会被回收。
      • 当任务数据读写速率失衡,超过回收时间的数据尚未被写入到目的地,将会出现部分数据被回收,未能成功写入数据目的地的情况。
    • 数据任务动态限速
      • 开启后该数据任务读写数据量差达到「最大缓存值」,任务将会暂停数据读取工作。当实际缓存数据量小于「最大缓存值」时会重新开始读取数据。
      • 可根据用户情况自定义「检查频率」
    • 读取端数据一致性
      • 用户「关闭」该选项,DataPipeline 从数据源读取数据后,将会立即写入到目的地。
      • 用户「开启」该选项,DataPipeline 从数据源读取数据后,系统定期记录读取的进度,数据对应的进度被成功记录了,才会被允许写入到目的地。以此来保证系统出现重启或者rebalance的情况时,根据系统明确的标记信息来保证目的地数据的一致性。