跳到主要内容
版本:v4.24

Agent 批量部署与操作

功能概述​

Agent 批量管理工具是在客户 Linux 运维机运行的 Shell 向导。实施或运维人员通过 SSH 别名和实例清单,对多台机器上的 Agent 执行预检、首次部署、程序或镜像替换、停止,并查看逐实例结果及失败记录。工具管理 Agent 实例的程序和主进程;Agent 内部采集任务、Worker 生命周期、数据节点绑定及业务同步仍由 Agent 和 DataPipeline 原有流程负责。

已验证范围​

Agent已验证交付方式
MySQL、GoldenDBDocker 镜像归档
OceanBase CDCDocker 镜像归档;非容器 tar 包
Oracle、PostgreSQL 系、达梦、GBase 8s非容器 tar/tar.gz 完整包

使用准备​

  1. 在可访问目标机器的 Linux 运维机上取得完整工具目录、目标 Agent 成品包或 docker save 镜像归档,以及对应的主配置和 profile。工具从运维机运行,不要求在 DataPipeline 页面逐台执行。
  2. 为每台目标机器配置 SSH 别名、无交互认证和可信主机指纹。使用相同 SSH 别名核对登录用户及该 Agent 所需的运行环境;依赖宿主机 Java 的包,还须验证非交互 SSH 下 Java 可用。SSH 互信并不代替 Agent 的 JDK、Docker、native 库、ODBC 等包自身依赖。
  3. 确认目标实例的安装目录、管理端口、运行用户、磁盘空间和现有守护方式。升级前明确维护窗口、受影响任务、HA 顺序、位点及下游处理状态、程序和业务状态备份及人工恢复方案。工具不会自动停写、排空数据或回滚。
  4. 维护主配置:AGENT_INVENTORY 指向 CSV 清单,AGENT_PROFILE 指向对应的包规则,AGENT_PACKAGE 指向成品包或镜像归档;Docker 交付还需配置目标镜像名与标签。检查工具文件、profile 和包的来源及访问权限。
  5. 维护 CSV:一行表示一个 Agent 实例,公共字段为 SSH alias、安装 directory 和管理 port;Kafka、ZooKeeper、CDC 地址及其他安装参数根据所选 Agent 的清单模板逐行填写。同一批次使用一份主配置和同一目标程序包或镜像版本。

配置项和 CSV 扩展列以交付工具中的对应模板为准。首次部署可按 Agent 模板生成实例配置;普通升级仅替换程序或镜像,保留已有配置和运行数据,不再提供升级时更新连接参数的选择。

操作流程​

  1. 进入工具目录并启动向导。在运维机的工具根目录执行:
   cd /root/agentmanag
./agent-manager.sh
  • 向导提示“本批使用的配置文件路径”时,输入本批 Agent 对应的 config/*-agent-manager.conf 路径;
  • 直接回车仅在屏幕给出的默认路径确实对应本批时使用;
  • 输入 0 可退出。屏幕随后显示配置文件、运维配置、执行记录目录及本批实例列表。
  1. 核对第 1 阶段的公共预检

逐项查看每个实例的 SSH 别名、安装目录、运行状态、当前版本和管理接口状态。随后核对包文件、目标架构及 SHA-256、安装目录权限、磁盘和端口等预检信息;

预检失败或实例身份不明时,先修复问题并重新运行向导;不要仅根据 SSH 连通就判断 Agent 可用。

  1. 在第 2 阶段选择场景

输入 1 为“首次部署”,2 为“批量升级/替换”,3 为“批量停止”,0 为退出。场景确定后,向导在第 3 阶段给出逐实例计划和可执行数量;

先核对实例目录、原版本与目标版本、原运行状态、计划动作,再选择要处理的实例。

  1. 选择执行对象

在“输入编号(逗号分隔),或 all 选择全部可执行项”提示下,输入如 1,3 或 all。这里的 all 指当前计划中可执行的实例,并不包含预检失败、未纳入计划的实例。屏幕会再次显示将执行的实例数量;

确认范围正确后,再按对应场景输入 1 开始,其他输入按提示取消。

  1. 核查第 4 阶段结果

向导逐实例输出执行状态,并给出本批的 results.tsv 与 retry.csv 路径。结合执行记录目录中的逐实例日志、目标主机进程或容器及管理端口,确认最终状态;不能只凭“已提交执行”或单条成功提示判定整批完成。

首次部署​

  1. 完成公共步骤并在第 2 阶段输入 1。向导提示首次部署可为各实例生成参数化主配置和清单填写信息,先核对 CSV 中每台实例的安装目录、管理端口、Kafka/ZooKeeper 等对应 Agent 的必要参数
  2. 在“部署后行为”处输入 0 表示仅部署、暂不启动 Agent,输入 1 表示部署并启动 Agent。若目标环境尚需人工修改生成配置,选 0,待配置核实后再由现场运维按 Agent 自身启停方式启动;向导中没有独立的“批量启动”菜单
  3. 查看第 3 阶段计划,确认目标包版本、SHA-256、每台实例的预计状态与执行动作;输入实例编号或 all,再在最终提示输入 1。部署期间注意逐实例输出;“仅部署”后的待配置或停止状态不能按启动失败处理
  4. 完成后核对每台实例的安装目录、程序/镜像版本、主配置、主进程与管理接口。若选择部署并启动,还应核对进程处于运行中、管理接口可达;随后再验证 DataPipeline 中的节点及采集任务

批量升级或替换​

  1. 将完整的新 tar/tar.gz 包或 docker save 的镜像归档放到运维机指定目录,修改本批主配置的 AGENT_PACKAGE;镜像方式还需核对 AGENT_IMAGE 的名称和固定标签。profile 与包的交付方式、Agent 类型及目标架构保持匹配。升级入口用于程序或镜像替换,不用于改写现有连接参数和运行数据
  2. 完成公共步骤并在第 2 阶段输入 2
  3. 第 3 阶段核对每台实例的“原版本 → 目标版本”、原进程状态及替换后的预计动作。原来运行中的实例会在替换后尝试恢复运行,原来停止的实例保持停止。
  4. 选择实例编号或 all 后,向导会提示升级前提。由业务、DBA 或运维负责人确认维护窗口、受影响采集任务及 HA 切换顺序,检查备份与人工恢复方案,并确认允许程序替换和短暂中断。工具只检查技术前提,不自动验证业务窗口安全,也不自动回滚。条件未满足时取消本批升级
  5. 核对批次、包名、目标版本、SHA-256 和已选实例,再在“确认以上条件并开始本批升级”提示输入 1。执行过程中留意每个实例的进度和日志路径;长时间执行时先查日志和目标机状态,不要因终端暂未输出就重复发起同一批
  6. 按 results.tsv 核对每台替换结果、目标版本、进程状态和管理接口;再检查源端采集位点、DataPipeline 任务是否恢复以及下游数据是否追平。程序升级成功不等于业务链路已恢复

批量停止​

  1. 完成公共步骤并在第 2 阶段输入 3
  2. 在第 3 阶段核对每个实例的当前版本、原进程状态及计划动作;目标是停止 Agent 的受管主进程,不删除安装目录、镜像、配置或采集状态
  3. 输入要停止的编号或 all,核对“将对 N 个实例执行 stop”的范围,再输入 1 确认。停止会影响相应节点的采集与任务,应按维护安排处理上下游依赖
  4. 查看第 4 阶段逐实例结果。成功停止时进程应显示 stopped,管理接口可能显示 -;结合远端进程/容器状态及任务页面确认停止范围,保存本批执行记录

异常与重试​

  • 预检失败的实例不应直接执行;修复 SSH、依赖、目录、端口或空间问题后重新预检。
  • 某实例执行失败或结果不明确时,工具会暂停后续实例。查看该批次的计划、逐台日志、结果和重试清单,区分已成功、待配置、失败、未执行与未选择实例。
  • SSH 中断不代表远端操作已经停止。先根据执行记录查询目标机的实际进程、容器、文件和维护状态,再决定重试;不得盲目重复部署或替换。
  • 程序备份不等于完整业务备份。替换失败后按现场恢复方案人工处理;工具不提供自动回滚,也不清空 Agent 位点或采集状态。
  • 对于 Docker 交付,确认目标机 Docker 可用、镜像归档已成功加载以及受管容器的实际状态。对于 tar 交付,核对包内启动和停止入口及目标架构。

边界与注意事项​

警告
  • 工具不提供批量删除 Agent、清空状态、配置迁移、数据节点绑定或采集启停功能;
  • 独立的批量启动/重启菜单也不是本期交付范围;
  • 首次部署和升级过程中的启动按上述流程执行。批次串行处理,不承诺零停机;
  • 业务侧的停写、HA 切换及采集恢复由运维方案安排。