版本:v2.7
读取设置
读取设置

同步列表
- 读取列表显示该任务需要读取的表,点击任一表名称右侧显示该表的表结构。
- 提供搜索功能,主要支持搜索表名称。
- 点击「编辑」,可重新选择读取对象。
- 提供「批量设置」功能,包括:批量移除读取对象,批量设置执行语句。具体可见:批量功能
传输队列设置

- 各个数据源的传输队列设置均一致。
- 传输队列最大缓存值
- 任务开始读取数据后,单个任务默认缓存10GB数据(读写数据量差),用户可自定义。
- 读写数据量差达到10GB(最大缓存值时),根据先进先出的原则,旧数据将会被回收。
- 当任务数据读写速率失衡,读写数据量差大于10GB(最大缓存值)时,将会出现部分数据被回收,未能成功写入数据目的地的情况。
- 传输队列回收时间
- 任务开始读取数据后,但个任务默认缓存3天数据,用户可自定义。
- 缓存数据达到回收时间,旧数据将会被回收。
- 当任务数据读写速率失衡,超过回收时间的数据尚未被写入到目的地,将会出现部分数据被回收,未能成功写入数据目的地的情况。
- 数据任务动态限速
- 开启后该数据任务读写数据量差达到「最大缓存值」,任务将会暂停数据读取工作。当实际缓存数据量小于「最大缓存值」时会重新开始读取数据。
- 可根据用户情况自定义「检查频率」
任务设置中的传输对列和单表中的传输队列同时设置时,系统会优先采用单表级别的传输队列设置信息。
设置读取条件
由于根据数据源类型,读取条件的设置不同,请点击具体的数据源类型查看如何设置: