跳到主要内容
版本:v5.5

读取并发设置

关于此功能​

在将业务系统数据同步至分析系统时,全量数据铺底往往是最先进行的必要步骤。在全量数据同步过程中,同步工具通常会向数据源提交一个快照请求,用于做增量数据与全量数据的衔接。

在数据库中,快照数据会占用表空间。当全量数据较大或可用表空间较小时,会给数据库带来较大压力,且可能会因为快照读取速率慢导致暂存时间过久超过数据库表空间允许的缓存时间,导致读取报错。

通过快速将全量数据读取出来,虽然短时间内会占用更多的数据库连接,增加部分查询引擎的压力,但综合来看,还是在数据同步场景中最有效的降低数据库压力的方式。

在 DataPipeline 产品中,通过指定分片字段,可以拆分多个读取 SQL,多并发的读取大表的全量数据,加速数据同步。

操作步骤​

配置读取并发可通过单映射配置,也可通过多选映射后批量配置

单映射配置

  1. 在数据任务-映射设置-映射列表「操作」中,点击「读取设置」按钮,选择「读取并发设置」
  2. 分片字段:选择一个字段作为分片字段
  3. 分片方式:可选择「范围分片」和「按值分片」
    1. 范围分片
      1. 分片数:手动输入分片数。输入后可点击「自动生成分片范围」,会根据实际数据以及分片数生成分片范围
      2. 分片范围:可手动输入分片范围,也可自动生成。点击添加范围可进行多项范围配置
    2. 按值分片
      1. 分片值定义:根据已选的「分片字段」,输入字段值,将会按值进行分片。点击添加分片可进行多项范围配置
  4. isNull:当选择的分片字段允许为空时,开启「isNull」开关后,“null”也会作为一个范围进行分片
  5. 点击「保存」按钮保存配置

批量配置

  1. 在数据任务-映射设置中,批量选中需要修改读取并发的映射后,点击「批量配置读取设置」,选择「读取并发设置」
  2. 并发读取设置
    1. 点击开关按钮,开启后批量配置则应用到每条映射中。且默认使用主键作为分片字段
    2. 分片方式:仅支持自动分片(即范围分片-自动生成分片范围)
    3. 分片数:输入分片数
  3. 点击「保存」按钮保存配置,配置将下发到选中映射

配置说明​

  • 自动生成范围分片会根据您设置的分片数量,取该字段值的最大值与最小值进行平均切分
  • 自定义范围分片,需要您指定每个范围的起点和终点,可以使用 -∞ 和 +∞ 来表示正负无穷

执行任务​

  1. 任务中配置并发分片设置映射,将会自动执行全量数据并发切分。
  2. 已经设置过读取并发的映射不支持关闭。

注意​

警告
  • 分片字段目前只支持数字、时间和字符串类型
  • 当前版本分片读取数据仅对 JDBC 读取方式生效,即全量定时同步的数据任务与增量任务的全量初始化阶段生效。
  • 分片字段尽量选择主键或唯一键,分片字段数据的均匀程度会影响分片的实际大小,均匀的分片大小有助于提升同步速率。
  • 在全量性能调优场景中,配置分片读取并发需要与数据任务读取并发设置、写入并发设置一并配置,以免出现任务可用并发不足导致的同步效率降低。
  • 跳板机的部署方式不支持分片读取
  • 内存模式暂不支持分片读取