跳到主要内容
版本:v5.13

资源组设置

功能概述​

在「系统设置 > 资源组」查看各资源组的可用节点、CPU、内存和读写并发容量,了解当前已分配量及剩余量,辅助判断新任务能否获得运行资源以及何时需要扩容。容量展示反映资源组和工作节点的配置与分配情况;容量预测计算器是独立的规划工具,用于估算业务规模所需节点数。两者均不能单独证明任务的实际吞吐或目标端落地性能。

任何成熟的集群系统,计算资源都是有限的。资源使用模型进行了第一阶段的优化。主要优化内容为,可以通过资源组设置线程使用上限,这样避免任务无限提交,导致同时处于工作状态的线程过多,而造成 gc,oom 等问题。

信息

资源组优化介绍(2026-6月Sprint):本次将进程模型/线程模型更改为增强版进程模型

优化背景:

在原有架构中,一个JVM进程内只能加载一份Kerberos认证信息,当多个使用不同Kerberos认证的任务运行于同一JVM时,后启动的任务会覆盖前者的认证配置,导致已有任务认证失效、同步失败。

临时解决方案:采用进程级隔离,即每个并行度独立进程。但该方案引入新问题——Java进程本身内存开销大,高效GC通常需要4~6GB堆内存,粒度太细导致资源浪费严重,资源利用率极低。

优化实现

本次优化重新设计资源组分配策略,引入四种隔离级别,按需选择(需要在。

  • dp:无特殊隔离需求——所有任务自由混合分配,无任何隔离限制(兼容原有线程模型与独占进程模型),若无修改要求兼容原有资源组配置
  • dptask:按任务隔离——不同任务不可运行在同一进程中,仅适用于进程模型
  • connector:按连接器隔离——不同连接器类型(如MySQL、Oracle)不可运行在同一进程中,仅适用于进程模型
  • kerberos:按认证隔离——不同Kerberos认证的任务不可运行在同一进程中(无认证任务统一使用dp标识),仅适用于进程模型

本功能将主要实现以下几点:

  1. 允许提交线程的动态调整。当发现实时或者定时的资源不足时,可以根据对 worker 节点的资源判断,动态调整资源分配。
  2. 当使用的线程已经达到允许线程的上限的 90%,则新发起的线程需求,将进入到争抢机制。会以一定的概率抢到资源,等待时间越久,抢到的概率会越高。目前提供的默认抢占概率为超过 20 分钟,线程可以被执行的概览为 50%,当等待时间超过 50min 时,概率为 90%。当然数值可以根据业务需求去设置和调整,同样为动态生效。
  3. 如果线程被全部占满,则在提交的线程会进入到等待队列中,当有资源释放的时候,会按照概率获取资源执行。
  4. 可以在一个 Runtime 中配置多个资源组,可根据需求选择配置不同的资源组类型:
    1. 线程模型:「dp」、「dptask」、「connector」、「kerberos」
    2. 进程模型:「dptask」、「connector」、「kerberos」

资源组优化后架构图​

查看资源组容量​

  1. 进入「系统设置 > 资源组」,查看每个资源组的容量面板。面板列出注册节点的在线、离线数量,以及在线工作节点的 CPU 和配置内存合计。
  2. 查看内存和读写并发的已分配量、总量、利用率与剩余量。读写并发总量按节点可配置的并发上限及单任务内存规格折算,计算结果向下取整;具体上限以当前部署配置和页面显示为准。内存已用量是按任务资源规格计算的逻辑分配量,不等同于进程瞬时 RSS 或 JVM 堆实际占用。
  3. 展开工作节点,核对该节点的在线状态和容量明细;需要最新状态时使用页面刷新功能。离线节点面板显示灰色,且不计入资源组在线 CPU、内存与并发总量。
  4. 若已启用资源组任务视图,可从资源组查看关联任务,进一步确认任务状态。页面出现「等待资源中」时,应结合资源组剩余并发、内存、节点在线状态与任务配置排查;容量面板本身不保证新任务一定能激活。

内存或读写并发使用率超过 90%时,面板以黄色提示;设计规定超过 100%时以红色提示。达到 100% 和超过 100% 是不同条件:测试中调度器阻止了超配任务,因此未实际验证超过 100% 的红色状态。黄色提示用于容量关注,不代表任务必然异常。

使用容量预测计算器​

提供「8C32G 容量预测计算器」工作簿说明。它适用于单个工作节点为 8 个有效 CPU、32 GiB JVM 堆、JDK 21,且全量完成后再运行 CDC 的两阶段规划场景。该计算器不是资源组页面的实时指标;其他硬件、目标节点、写入策略或全量与 CDC 同时运行的场景,需重新评估。

  1. 在计算器首页填写全量数据量、24 小时增量量、表数、平均字段数和平均单行大小,并填写全量完成时长。
  2. 填写 CDC 峰值吞吐;没有 MiB/s 监控值时,可改填峰值行速率,由平均行大小换算。业务延迟要求只记录为 SLA,不用于降低持续吞吐需求。
  3. 填写预计同时运行的映射数量、规划利用率、容量档位和冗余节点数。规划利用率默认 80%,表示为业务波动预留吞吐余量,不是 CPU 使用率阈值。
  4. 分别查看全量阶段和 CDC 阶段的节点需求,取两阶段较大值,再加冗余节点。若两阶段需同时占用同一批节点,不能直接使用该取大值规则。

基准 45 列、约 1 KiB/行的测试将单节点映射数量划为三个档位:GC 安全 15、无 Full GC 高压 70、短时可运行上限 100。一个映射对应一个读并发和一个写并发。100 映射档位允许 Full GC,不能作为日常低 GC 容量承诺;正式规划应结合实际表结构、源和目标端能力、业务峰值及故障冗余复核。

指标解释与使用边界​

指标含义与注意事项
在线节点、CPU、内存总量统计在线工作节点;节点离线后,其容量从可用总量中移除。内存总量取工作节点配置值。
已分配内存按任务内存规格及已分配任务资源估算的逻辑用量,不代表实时物理内存消耗。
读写并发表示当前已分配并发及可配置总量;任务可能因资源不足进入等待。
预测节点数来自特定 8C32G 压测环境的模型,用于规划,不是生产环境性能保证。

预测模型采用 14 组表规格拟合;其留一验证平均误差为读 25.6%、写 10.5%,复杂表规格的误差可能更大。测试报告中一项单节点全量任务虽按计算器返回的 1 个节点完成,但未达到输入的完成时限。因此,涉及明确完成时间或持续吞吐承诺时,应使用实际源、目标、表规格和写入配置进行压测。

其他波及影响​

  • 任务列表增加了线程使用情况的展示。通过这里可以方便的查看到任务底层映射分配线程后的执行情况 。
  • 任务提交时的资源组选择时的提示。
  • 资源配置中,增加了运行线程和使用情况的展示。当提交作业时,可以根据线程使用情况,决定将线程提交在哪里。
  • 其他优化,线程的释放机制。当映射完成后,DP 会释放线程资源给到其他映射。