版本:v2.7
数据源资源组设置
数据源资源组设置
- 数据源资源组现已支持所有种类的数据源
- 用户可以通过选择资源组来对任务运行资源队列进行调整
- 将重要任务置于计算资源充足、稳定的资源组有利于整体系统稳定性
- 资源组设置现仅支持部署时通过修改配置文件完成,详情请见:
资源组配置
在部署DataPipeline时,通过修改配置文件,可以将数据源端/目的地端的服务器资源划分为多个资源组,实现业务资源组解耦。
资源组配置文件路径:/data/datapipeline/dpconfig/resource_group_config.json
源端与目的地端均有两个资源组的配置文件,资源组配置文件样例如下:
配置详细说明如下:
注意:修改配置文件后需要重启服务使资源组配置生效。
- 为任务的读取与写入分配资源组
用户在任务设置过程中可以针对每个任务的数据读取和数据写入分别选择支撑任务运行的资源组