跳到主要内容
版本:v2.7

读取设置

读取设置​

  • 读取设置界面主要包括同步列表、传输队列设置以及设置读取条件等三个方面的内容。

同步列表​

  • 读取列表显示该任务需要读取的表,点击任一表名称右侧显示该表的表结构。
  • 提供搜索功能,主要支持搜索表名称。
  • 点击「编辑」,可重新选择读取对象。
  • 提供「批量设置」功能,包括:批量移除读取对象,批量设置执行语句。具体可见:批量功能

传输队列设置​

  • 各个数据源的传输队列设置均一致。
  • 传输队列最大缓存值
    • 任务开始读取数据后,单个任务默认缓存10GB数据(读写数据量差),用户可自定义。
    • 读写数据量差达到10GB(最大缓存值时),根据先进先出的原则,旧数据将会被回收。
    • 当任务数据读写速率失衡,读写数据量差大于10GB(最大缓存值)时,将会出现部分数据被回收,未能成功写入数据目的地的情况。
  • 传输队列回收时间
    • 任务开始读取数据后,但个任务默认缓存3天数据,用户可自定义。
    • 缓存数据达到回收时间,旧数据将会被回收。
    • 当任务数据读写速率失衡,超过回收时间的数据尚未被写入到目的地,将会出现部分数据被回收,未能成功写入数据目的地的情况。
  • 数据任务动态限速
    • 开启后该数据任务读写数据量差达到「最大缓存值」,任务将会暂停数据读取工作。当实际缓存数据量小于「最大缓存值」时会重新开始读取数据。
    • 可根据用户情况自定义「检查频率」

任务设置中的传输对列和单表中的传输队列同时设置时,系统会优先采用单表级别的传输队列设置信息。

设置读取条件​

由于根据数据源类型,读取条件的设置不同,请点击具体的数据源类型查看如何设置: