资源组设置
关于此功能
任何成熟的集群系统,计算资源都是有限的。在 V3.4 版本之前,DataPipeline 的资源模型是在有限的资源下,无限制的提交任务,这必然会给用户带来极大的风险。因此在 V3.5 版本中,对于资源使用模型进行了第一阶段的优化。主要优化内容为,可以通过资源组设置线程使用上限,这样避免任务无限提交,导致同时处于工作状态的线程过多,而造成 gc,oom 等问题。
本功能将主要实现以下几点:
1 允许提交线程的动态调整。当发现实时或者定时的资源不足时,可以根据对 worker 节点的资源判断,动态调整资源分配。
2 当使用的线程已经达到允许线程的上限的 90%,则新发起的线程需求,将进入到争抢机制。会以一定的概率抢到资源,等待时间越久,抢到的概率会越高。目前提供的默认抢占概率为超过 20 分钟,线程可以被执行的概览为 50%,当等待时间超过 50min 时,概率为 90%。当然数值可以根据业务需求去设置和调整,同样为动态生效。
3 如果线程被全部占满,则在提交的线程会进入到等待队列中,当有资源释放的时候,会按照概率获取资源执行。
操作步骤
- 管理员用户登录 DataPipeline 系统;
- 选择系统设置 → 资源组设置,这里将可以查看资源组列表。
列表说明:
| 序号 | 条目 | 说明 |
|---|---|---|
| 1 | 资源组名称 | DP 本身提供了默认的读取和写入资源组。当然也支持自己配置资源组。未来为了适配动态扩缩容,还将提供界面动态创建资源组的功能。可以根据需要创建资源组。 |
| 2 | 类型 | 源端资源:仅支持数据任务读取数据源数据时使用。 目的地资源:仅支持数据任务向目的地写入/处理数据时使用。 通用资源:同时支持数据同步任务读取与写入数据、数据校验任务读取与校验数据使用。DataPipeline V3.5及V3.5前期的版本区分”源端资源“、”目的地资源“,DataPipeline V3.6及V3.6后期版本在读取数据及写入数据时将统一使用”通用资源“。 校验资源:仅支持数据校验任务读取与校验数据使用。 |
| 3 | CPU | 当前无实际作用。 |
| 4 | 内存 | 当前无实际作用。 |
| 5 | 活跃并发数 | 当前资源组上的线程数。 |
| 6 | 单 worker 定时线程上限 | 注意这里展示的是单个计算节点的定时线程上限 |
| 7 | 单 worker 实时线程上限 | 注意这里展示的是单个计算节点的实时线程上限 |
| 8 | 查看 worker | 指可以查看该资源组下所有的组件的正在运行的线程和允许的线程上限 |
| | 9 | 查看任务 | 以任务的视角查看,该资源组上都已经分配了哪些任务任务的读取/写入的数据量和线程数等信息。 | | 10 | 编辑
| 将提供单 work 的上限设置。 |
注意事项
当前的资源中,推荐的配置为 8C 32G 下,单节点线程总数推荐为 400。
其他波及影响
任务列表增加了线程使用情况的展示。通过这里可以方便的查看到任务底层映射分配线程后的执行情况 。
任务提交时的资源组选择时的提示。
资源配置中,增加了运行线程和使用情况的展示。当提交作业时,可以根据线程使用情况,决定将线程提交在哪里。
其他优化,线程的释放机制。当映射完成后,DP 会释放线程资源给到其他映射。