跳到主要内容
版本:v5.7

资源组设置

关于此功能​

任何成熟的集群系统,计算资源都是有限的。资源使用模型进行了第一阶段的优化。主要优化内容为,可以通过资源组设置线程使用上限,这样避免任务无限提交,导致同时处于工作状态的线程过多,而造成 gc,oom 等问题。

本功能将主要实现以下几点:

1 允许提交线程的动态调整。当发现实时或者定时的资源不足时,可以根据对 worker 节点的资源判断,动态调整资源分配。

2 当使用的线程已经达到允许线程的上限的 90%,则新发起的线程需求,将进入到争抢机制。会以一定的概率抢到资源,等待时间越久,抢到的概率会越高。目前提供的默认抢占概率为超过 20 分钟,线程可以被执行的概览为 50%,当等待时间超过 50min 时,概率为 90%。当然数值可以根据业务需求去设置和调整,同样为动态生效。

3 如果线程被全部占满,则在提交的线程会进入到等待队列中,当有资源释放的时候,会按照概率获取资源执行。

操作步骤 ​

  1. 管理员用户登录 DataPipeline 系统;
  2. 选择系统设置 → 资源组设置,这里将可以查看资源组列表。

列表说明:

序号条目说明
1资源组名称DP 本身提供了默认的读取和写入资源组。当然也支持自己配置资源组。未来为了适配动态扩缩容,还将提供界面动态创建资源组的功能。可以根据需要创建资源组。
2协调节点当前资源组的协调节点信息「容器名称:端口」
3已配置任务数展示使用当前资源组的任务数量
4CPU当前资源组分配的CPU大小
5内存当前资源组分配的内存大小
6活跃并发数当前资源组上的线程数。
7查看工作节点+ 运行时组件:明确展示每个资源组所使用的Runtime组件类型
+ Worker列表:显示资源组下所有ConnectDP组件的Worker实例
+ Worker状态:实时标识Worker的在线/下线状态
+ Worker资源:从task_manager_resource表中读取逻辑资源与已使用资源(CPU/内存)
8查看任务以任务的视角查看,该资源组上都已经分配了哪些任务任务的读取/写入的数据量和线程数等信息。

注意事项

当前的资源中,推荐的配置为 8C 32G 下,单节点线程总数推荐为 400。

其他波及影响​

任务列表增加了线程使用情况的展示。通过这里可以方便的查看到任务底层映射分配线程后的执行情况 。

任务提交时的资源组选择时的提示。

资源配置中,增加了运行线程和使用情况的展示。当提交作业时,可以根据线程使用情况,决定将线程提交在哪里。

其他优化,线程的释放机制。当映射完成后,DP 会释放线程资源给到其他映射。