版本:v2.7
Redshift 并发数设置是50,DataPipeline对100个表并发插入的方案?对Redshift 性能的影响?DataPipeline对大数据量并发插入Redshift 的处理方式?
Q:Redshift并发数设置是50,DataPipeline对100个表并发插入的方案?对Redshift性能的影响?DataPipeline对大数据量并发插入Redshift的处理方式?
A:
DataPipeline会根据Redshift的最优的性能来设置Redshift的并发数,没有一个固定值50个并发同时写就是最优的写入方案。
我们可以进行100张表的并发写入,单高并发对DataPipeline服务器内存、磁盘有很大的消耗,根据测试环境配置并发数量。
DataPipeline是通过Redshift 客户端写入到Redshift,大量并发的情况下会影响性能,所以在测试时需要根据源端、目的地端配置及性能对写入并发进行设置。
DataPipeline先将数据写成文件,当文件到一定size的时候load到Redshift。