版本:v4.18
资源组配置
资源组配置是任务执行过程中对数据源读取和数据目的地写入的资源管理功能。
关于此功能
在部署 DataPipeline 时,通过修改配置文件,可以将数据源端/目的地端的服务器资源划分为多个资源组,实现业务资源组解耦。
操作步骤
- 在部署 DataPipeline 时,前往路径/data/datapipeline/dpconfig/;
- 修改配置文件 resource_group_config.json;\ 表格 19 资源组配置文件字段说明表
| 配置项 | 说明 |
|---|---|
| groupName | 资源组名称,用于系统调用标识 |
| displayName | 资源组显示名称,用于前端选择 |
| memory | 分配给资源组的内存数量 |
| memoryUnit | 内存单位 |
| cpu | 分配给资源组的 cpu 核数 |
| nodes | 资源组对应节点地址列表 |
- 保存修改后重启服务,使配置文件生效;
- 在数据任务基础配置页面,为数据源配置资源组;
- 您可切换数据目的地节点,分别为不同的目的地节点设置资源组。
信息
资源组隔离可以在一定程度上保证重要任务获取独立运行资源以更加稳定的运行,资源组模型详见<资源组模型>。