3.1 数据节点
从 V5.12 版本开始,我们对数据节点进行重构。DataPipeline 使用统一节点模型管理普通节点、高可用节点、Agent 节点以及 OceanBase 等多层级节点:
- 数据节点统一表示一个外部数据系统;
- 节点内部可以按数据库特性组织连接、集群、租户、Region 或 Shard;
- 单机连接与高可用连接统一通过运行组管理;
- 数据库连接高可用与采集代理高可用分开管理;
- 链路、任务和映射引用稳定的运行组,不直接依赖某个临时活动连接;
- OceanBase 在统一模型上支持多逻辑集群、多租户、多采集代理和集群级高可用。
对普通用户而言,最直观的变化是节点连接结构更加清晰,高可用节点会标识当前活动连接;对 OceanBase 用户而言,一个节点可以集中管理多个逻辑集群和租户,并按租户选择同步范围。
支持的数据节点类型与版本详见1.2 支持的数据源与数据目的地。
统一节点模型
用户需要理解的三个概念
| 概念 | 用户视角说明 |
|---|---|
| 数据节点 | 一个需要接入 DataPipeline 的外部数据系统,是节点列表、详情、监控、日志和权限管理的入口。 |
| 连接结构 | 数据系统内部的组织层级和真实连接端点。例如普通数据库只有一组连接,OceanBase 可以包含多个逻辑集群和租户。 |
| 运行组 | 链路或任务实际引用的运行目标。运行组可以只有一个连接,也可以包含多个具有优先级的高可用成员。 |
统一节点模型把“节点有哪些连接”和“任务运行时使用哪个连接”分开管理。连接结构负责描述资产组成,运行组负责描述运行关系和高可用切换。
单机节点
普通单机节点只有一个连接端点,系统仍会在内部为其建立单成员运行组。用户不需要额外配置高可用关系,创建链路或任务时选择对应节点和运行组即可。
高可用节点
高可用节点的一个运行组包含多个候选成员。系统根据优先级和当前状态确定活动成员,并在节点详情中标识当前使用的连接。
高可用切换改变的是运行组的当前连接,不改变链路和任务引用的运行组标识,因此任务不需要重新绑定节点。
Node HA 与 Agent HA
| 类型 | 管理对象 | 作用 |
|---|---|---|
| Node HA | 数据库连接、集群、Region、Shard 等数据目标 | 决定任务当前访问哪个数据库目标。 |
| Agent HA | Oracle Agent、OceanBase CDC Agent、NewMySQL Agent 等采集代理 | 决定由哪个采集代理读取当前数据目标。 |
Node HA 和 Agent HA 是两层独立关系。数据库目标切换后,采集代理也必须与目标连接保持对应,不能让同一 HA 组中的不同任务分别停留在不同主备成员。
节点模型变更影响
对普通节点的影响
普通节点继续使用原有业务配置字段,但底层统一为“节点—连接—运行组—成员”模型:
- 单机节点被视为单成员运行组;
- 高可用节点被视为多成员运行组;
- 链路和任务统一引用运行组;
- 连接测试和凭据修改作用于具体物理连接;
- 节点详情统一显示连接、Agent、当前活动成员和关联任务。
因此,大部分普通节点的创建体验变化有限,主要变化集中在高可用展示、运行组选择和活动连接标识。
对高可用节点的影响
Oracle、达梦、GBase 8s、TDSQL MySQL、GoldenDB、MySQL/NewMySQL 等具备 HA 或 Agent 能力的节点,统一遵循以下规则:
- Node HA 和 Agent HA 分开配置;
- 每个 Node HA 成员对应相应的 Agent 组;
- 节点切换时,Agent 运行组同步切换;
- 当前活动节点和 Agent 通过高亮或连接标识展示;
- 相关任务需按 HA 组整体切换;
- 编辑或删除正在被任务使用的连接和 Agent 会被限制。
数据节点基础配置
数据节点基础配置是支持数据节点在系统中使用的基础配置,数据节点的连接信息、身份认证及个性化的连接参数,包括地址、端口、不同认证方式所需的信息等都属于基础配置。在新建节点过程中,完成基础配置即可使用该数据节点
数据节点策略配置
数据节点策略配置是数据融合任务在执行过程中,出现不同的运行事件及状态变化时的应对策略与管理规则。
检查点策略配置
您可以通过数据节点策略配置中的检查点策略配置 MySQL、Oracle、SQL Server、PostgreSQL 四种类型数据节点的检查频率和检查范围,方便数据任务定位读取起点。
详见:检查点策略配置
语义映射策略配置
您可以通过数据节点策略配置中的语义映射策略配置来明确数据节点与不同数据节点类型之间的数据类型、索引及特性的具体映射,以保证数据传输一致性及确定性
详见:语义映射策略配置
数据节点基本管理
在数据节点列表页可以新增数据节点,配置数据节点的基础连接信息,并对数据节点进行挂起、激活状态调整操作、删除数据节点操作和设置重要节点操作。您也可以批量删除、挂起、激活数据节点;通过选择器、搜索来检索数据节点,并指定检索条件;点击表头右侧的设置按钮自定义展示列;依据部分字段进行排序;自动切换平铺与横向滚动展示模式。
添加数据节点
您可以通过基本配置来定义节点的名称、类型、描述、状态、重要程度、参与人以及不同类型数据节点的相关连接参数等信息。
编辑数据节点
您可以在数据节点详情界面可以编辑数据节点的名称、描述、基础连接信息以及检查点策略和语义映射策略配置信息。
删除数据节点
您可以数据节点列表页和数据详情界面删除数据节点。
激活数据节点
您可以在数据节点列表页和数据详情界面通过激活节点来调整节点的状态。
挂起数据节点
您可以在数据节点列表页和数据详情界面通过挂起节点来调整节点的状态。