跳到主要内容
版本:v5.12

资源组设置

关于此功能​

任何成熟的集群系统,计算资源都是有限的。资源使用模型进行了第一阶段的优化。主要优化内容为,可以通过资源组设置线程使用上限,这样避免任务无限提交,导致同时处于工作状态的线程过多,而造成 gc,oom 等问题。

信息

资源组优化介绍(2026-6月Sprint):本次将进程模型/线程模型更改为增强版进程模型

优化背景:

在原有架构中,一个JVM进程内只能加载一份Kerberos认证信息,当多个使用不同Kerberos认证的任务运行于同一JVM时,后启动的任务会覆盖前者的认证配置,导致已有任务认证失效、同步失败。

临时解决方案:采用进程级隔离,即每个并行度独立进程。但该方案引入新问题——Java进程本身内存开销大,高效GC通常需要4~6GB堆内存,粒度太细导致资源浪费严重,资源利用率极低。

优化实现

本次优化重新设计资源组分配策略,引入四种隔离级别,按需选择(需要在。

  • dp:无特殊隔离需求——所有任务自由混合分配,无任何隔离限制(兼容原有线程模型与独占进程模型),若无修改要求兼容原有资源组配置
  • dptask:按任务隔离——不同任务不可运行在同一进程中,仅适用于进程模型
  • connector:按连接器隔离——不同连接器类型(如MySQL、Oracle)不可运行在同一进程中,仅适用于进程模型
  • kerberos:按认证隔离——不同Kerberos认证的任务不可运行在同一进程中(无认证任务统一使用dp标识),仅适用于进程模型

本功能将主要实现以下几点:

  1. 允许提交线程的动态调整。当发现实时或者定时的资源不足时,可以根据对 worker 节点的资源判断,动态调整资源分配。
  2. 当使用的线程已经达到允许线程的上限的 90%,则新发起的线程需求,将进入到争抢机制。会以一定的概率抢到资源,等待时间越久,抢到的概率会越高。目前提供的默认抢占概率为超过 20 分钟,线程可以被执行的概览为 50%,当等待时间超过 50min 时,概率为 90%。当然数值可以根据业务需求去设置和调整,同样为动态生效。
  3. 如果线程被全部占满,则在提交的线程会进入到等待队列中,当有资源释放的时候,会按照概率获取资源执行。
  4. 可以在一个 Runtime 中配置多个资源组,可根据需求选择配置不同的资源组类型:
    1. 线程模型:「dp」、「dptask」、「connector」、「kerberos」
    2. 进程模型:「dptask」、「connector」、「kerberos」

资源组优化后架构图​

操作步骤 ​

  1. 管理员用户登录 DataPipeline 系统;
  2. 选择系统设置 → 资源组设置,这里将可以查看资源组列表。

列表说明:

序号条目说明
1资源组名称DP 本身提供了默认的读取和写入资源组。当然也支持自己配置资源组。未来为了适配动态扩缩容,还将提供界面动态创建资源组的功能。可以根据需要创建资源组。
2协调节点当前资源组的协调节点信息「容器名称:端口」
3已配置任务数展示使用当前资源组的任务数量
4CPU当前资源组分配的CPU大小
5内存当前资源组分配的内存大小
6查看工作节点+ 工作节点:当前资源组工作节点信息「容器名称:端口」
+ 节点状态:当前资源组工作节点的状态「ONLINE」/「OFFLINE」
+ 总逻辑资源:当前资源组可使用的总资源大小
+ 已分配逻辑资源:当前资源组已分配的总资源大小
+ 已实际使用资源:当前资源组实际已使用的总资源大小
+ 节点更新时间:当前工作节点更新时间
+ 资源更新时间:当前节点资源使用情况更新时间
7查看任务以任务的视角查看,该资源组上都已经分配了哪些任务任务的读取/写入的数据量和线程数等信息。

注意事项

当前的资源中,推荐的配置为 8C 32G 下,单节点线程总数推荐为 400。

其他波及影响​

任务列表增加了线程使用情况的展示。通过这里可以方便的查看到任务底层映射分配线程后的执行情况 。

任务提交时的资源组选择时的提示。

资源配置中,增加了运行线程和使用情况的展示。当提交作业时,可以根据线程使用情况,决定将线程提交在哪里。

其他优化,线程的释放机制。当映射完成后,DP 会释放线程资源给到其他映射。