版本:v5.7
资源组设置
关于此功能
任何成熟的集群系统,计算资源都是有限的。资源使用模型进行了第一阶段的优化。主要优化内容为,可以通过资源组设置线程使用上限,这样避免任务无限提交,导致同时处于工作状态的线程过多,而造成 gc,oom 等问题。
本功能将主要实现以下几点:
1 允许提交线程的动态调整。当发现实时或者定时的资源不足时,可以根据对 worker 节点的资源判断,动态调整资源分配。
2 当使用的线程已经达到允许线程的上限的 90%,则新发起的线程需求,将进入到争抢机制。会以一定的概率抢到资源,等待时间越久,抢到的概率会越高。目前提供的默认抢占概率为超过 20 分钟,线程可以被执行的概览为 50%,当等待时间超过 50min 时,概率为 90%。当然数值可以根据业务需求去设置和调整,同样为动态生效。
3 如果线程被全部占满,则在提交的线程会进入到等待队列中,当有资源释放的时候,会按照概率获取资源执行。
操作步骤
- 管理员用户登录 DataPipeline 系统;
- 选择系统设置 → 资源组设置,这里将可以查看资源组列表。
列表说明:
| 序号 | 条目 | 说明 |
|---|---|---|
| 1 | 资源组名称 | DP 本身提供了默认的读取和写入资源组。当然也支持自己配置资源组。未来为了适配动态扩缩容,还将提供界面动态创建资源组的功能。可以根据需要创建资源组。 |
| 2 | 协调节点 | 当前资源组的协调节点信息「容器名称:端口」 |
| 3 | 已配置任务数 | 展示使用当前资源组的任务数量 |
| 4 | CPU | 当前资源组分配的CPU大小 |
| 5 | 内存 | 当前资源组分配的内存大小 |
| 6 | 活跃并发数 | 当前资源组上的线程数。 |
| 7 | 查看工作节点 | + 运行时组件:明确展示每个资源组所使用的Runtime组件类型 + Worker列表:显示资源组下所有ConnectDP组件的Worker实例 + Worker状态:实时标识Worker的在线/下线状态 + Worker资源:从task_manager_resource表中读取逻辑资源与已使用资源(CPU/内存) |
| 8 | 查看任务 | 以任务的视角查看,该资源组上都已经分配了哪些任务任务的读取/写入的数据量和线程数等信息。 |
注意事项
当前的资源中,推荐的配置为 8C 32G 下,单节点线程总数推荐为 400。
其他波及影响
任务列表增加了线程使用情况的展示。通过这里可以方便的查看到任务底层映射分配线程后的执行情况 。
任务提交时的资源组选择时的提示。
资源配置中,增加了运行线程和使用情况的展示。当提交作业时,可以根据线程使用情况,决定将线程提交在哪里。
其他优化,线程的释放机制。当映射完成后,DP 会释放线程资源给到其他映射。