版本:v4.23
并发读取设置
关于此功能
在将业务系统数据同步至分析系统时,全量数据铺底往往是最先进行的必要步骤。在全量数据同步过程中,同步工具通常会向数据源提交一个快照请求,用于做增量数据与全量数据的衔接。
在数据库中,快照数据会占用表空间。当全量数据较大或可用表空间较小时,会给数据库带来较大压力,且可能会因为快照读取速率慢导致暂存时间过久超过数据库表空间允许的缓存时间,导致读取报错。
通过快速将全量数据读取出来,虽然短时间内会占用更多的数据库连接,增加部分查询引擎的压力,但综合来看,还是在数据同步场景中最有效的降低数据库压力的方式。
在 DataPipeline 产品中,通过指定分片字段,可以拆分多个读取 SQL,多并发的读取大表的全量数据,加速数据同步。
操作步骤
配置范围分区
- 在数据映射-表映射配置中,点击设置“设置并发分区”按钮
- 选择分区键
- 选择分区方式为自定义范围分区
- 输入分区数自动生成
- 自定义或调整分区范围
- 配置分区键是否可为空
- 保存配置
配置说明
- 自动生成范围分区会根据您设置的分区数量,取该字段值的最大值与最小值进行平均切分
- 自定义范围分区,需要您指定每个范围的起点和终点,可以使用 -∞ 和 +∞ 来表示正负无穷
配置按值分区
按值分区表示按定值进行分区,需要您指定每个分区的值,未指定的值系统会默认建立分区同一存放。
- 在数据映射-表映射配置中,点击设置“并发分区”按钮
- 选择分区键
- 选择分区方式为按值分区
- 添加分区值定义
- 保存配置
执行任务
- 当任务选择带有并发分区设置的映射,将会自动执行全量数据并发切分。
- 修改数据映射中的并发读取的配置不会下发到正在运行中的任务,只有新建的任务或暂停激活后的任务中才会生效。
- 已经设置过并发读取的映射不支持关闭。
注意
警告
- 当前版本分片读取数据仅对 JDBC 读取方式生效,即全量定时同步的数据任务与增量任务的全量初始化阶段生效。
- 分区键尽量选择主键或唯一键,分区键数据的均匀程度会影响分区的实际大小,均匀的分区大小有助于提升同步速率。
- 在全量性能调优场景中,配置分区并发读取需要与数据任务读取并发设置、写入并发设置一并配置,以免出现任务可用并发不足导致的同步效率降低。
- 跳板机的部署方式不支持分区读取
- 内存模式暂不支持分片读取