跳到主要内容
版本:v4.24

限制配置

数据任务限制配置是在任务运行过程中为了保证任务运行的更加稳定的限制配置。

关于此功能​

数据任务的限制配置在限制类型上可以被分为四类:

  • 并发限制
    • 并发是指任务在执行过程中具体的并发(可理解为执行线程),当任务选择表数量为100,读取并发限制为5,这5个并发将采用类“轮询”方式,轮流执行100张表的数据同步
  • 单个并发速率限制
    • 单并发速率限制是对任务执行并发的速率限制,其计算过程为内存维护一个队列,计算队列写满的时间,如该时间对应的读取速率大于用户配置,该并发的数据处理会暂缓一段时间,直至速率限制符合标准;因此短时间内的速率并不均匀。
  • 提交Batch限制
    • 您可以通过条数、大小、时间来限制 Batch 规则,当前 Batch 写入成功后,下一 Batch 的满足条件判断归零,根据所选规则,达到任一规则上限则形成 Batch 写入。
    • 当数据目的地为Elasticsearch时,请根据Elasticsearch目的地设置的Bulk值调整Batch设置。Bulk设置默认为100M,批量提交内容请求实体的数据量如果太大超过Bulk设置时,数据任务将报错:Request Entity Too Large。Bulk设置请参见Elasticsearch官方文档。
  • 单个并发内存占用限制
    • 单个并发的内存限制是对任务执行并发占用的内存的限制配置,限制默认值为64MB,当处理单条数据较大时,可以适当放大该配置;
    • 内存限制的三种模式:
      • 不限制:即不对内存使用做限制
      • 精准模式:精确模式会监测每条数据占用内存大小,并根据配置值对内存占用进行限制,可能会增加系统资源使用
        • 适合资源十分充足,对系统稳定性要求较高的场景
      • 性能模式:性能模式会抽样监测数据占用内存大小,并根据配置值对内存占用进行限制
        • 适合资源可能会发生争抢的场景
    • 默认配置为性能模式,其采样频率、采样条数根据数据本身的特性可以调整,当同步速率要求较高时可适当放大采样范围,降低采样性能损耗。

数据任务的限制配置在限制生效位置上可以分为:

  • 读取限制
  • 写入限制

操作步骤​

  1. 在数据任务详情页面点击限制配置按钮,切换至限制配置 tab;
  2. 调整并发限制,建议读取并发数量与写入并发相同;如存在分发场景,可适当增加写入并发数量
  3. 调整速率限制,数据同步过程中如无特殊数据源、目的地要求,不建议限制同步速率;
  4. 配置写入 Batch 限制:
    1. 您可以通过条数、大小、时间来限制 Batch 规则,当前 Batch 写入成功后,下一 Batch 的满足条件判断归零,根据所选规则,达到任一规则上限则形成 Batch 写入。
    2. 当数据目的地为Elasticsearch时,请根据Elasticsearch目的地设置的Bulk值调整Batch设置。Bulk设置默认为100M,批量提交内容请求实体的数据量如果太大超过Bulk设置时,数据任务将报错:Request Entity Too Large。Bulk设置请参见Elasticsearch官方文档。
信息

在任务写入 Batch 限制中,当您同时配置任务级别的 Batch 设置与映射级别的 Batch 设置,映射配置将会覆盖任务配置。

限制读取、写入速率可能导致同步时间变长,如数据源或目的地存在表空间限制、链接时间限制等限制,可能导致任务报错;通常情况下不限速将数据最快的同步至目的地对上下游的影响最小。