配置 OceanBase 数据节点
配置要求
在进行配置之前,请务必检查您的 OceanBase 数据节点是否符合平台要求,参考如下:
| 要求 | 详情 |
|---|---|
| 版本要求 | + Oceanbase 2.x、3.x、4.x |
| 权限要求 | + 读取模式 - OB_Log_Reader(MySQL 模式) 对源端业务数据库有 SELECT 权限。 + GRANT SELECT ON \<database_name>. TO \<user_name>; 对源端租户的 OceanBase、Information_schema 和 MySQL 数据库的 SELECT 权限。 在 OceanBase 数据库的 sys 租户下创建一个用户,并赋予其 select on oceanbase.* 权限+ GRANT SELECT ON oceanbase. TO \<user_name> ; - OB_Log_Reader(Oracle 模式) 对于OceanBase V2.2.70 之前版本 + GRANT SELECT ON . TO \<user_name>; 对于OceanBase V2.2.70 之后版本,需要在 OceanBase 数据库的 sys 租户下创建一个用户,并赋予其 `select on oceanbase. `权限 + GRANT SELECT ON oceanbase. TO \<user_name> ; + JDBC 读取:需要给用户授予相关视图和表的 SELECT 权限 + JDBC 写入: - MYSQL 模式 需要给用户授予 CREATE、SELECT、INSERT、UPDATE、DELETE、DROP、INDEX、ALTER 权限 - GRANT CREATE、SELECT、INSERT、UPDATE、DELETE、DROP、INDEX、ALTER ON \<database_name>. TO \<user_name>; - ORACLE 模式 需要给用户授予业务库的 CREATE_SESSION、CREATE Y ANTABLE、ALTER ANY TABLE、DELETE ANY TABLE、DROP ANY TABLE、COMMENT ANY TABLE、INSERT ANY TABLE、SELECT ANY TABLE、UPDATE ANY TABLE、CREATE ANY INDEX 权限 + GRANT CREATE_SESSION、CREATE ANY TABLE、ALTER ANY TABLE、DELETE ANY TABLE、DROP ANY TABLE、COMMENT ANY TABLE、INSERT ANY TABLE、SELECT ANY TABLE、UPDATE ANY TABLE、CREATE ANY INDEX TO \<user_name>; |
| 其他要求 | + OB_Log_Reader 所需的用户与 JDBC 连接所需的用户可以不一致,OB_Log_Reader 的用户需要在 sys 租户下,并拥有 oceanbase 库的 select 权限 |
操作步骤
新建数据节点
- 新建弹窗界面选择了 OceanBase 节点类型之后,显示 Oracle 的基本信息配置模板:
- 版本:Oceanbase 2.x、3.x、4.x
- JDBC 配置:
- 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或instance1.oceanbase.example.com
- 端口:输入连接数据节点的端口值
- 租户名:输入 Oceanbase 的租户名
- 集群名:输入 Oceanbase 的集群名
- 租户类型:选择 OceanBase 的租户类型,可选选项有 MySQL 模式与 Oracle 模式
- Schema:仅 Oracle 模式下有此选项,当您选择用户权限所有 Schema 时,在链路和任务中可以使用连接用户有权限的所有 Schema;当您指定 Schema 后,在链路和任务中仅能使用指定的 Schema。
- 数据库:仅 Mysql 模式下有此选项,当您选择用户权限所有库时,在链路和任务中可以使用连接用户有权限的所有数据库;当您指定数据库后,在链路和任务中仅能使用指定的数据库。
- 用户名和密码:输入可访问该数据节点的用户名和密码
- 连接参数:添加 KEY、VALUE 值
- DataPipeline OB_Log_Reader 配置:
- 集群连接字符串:连接字符串需要在 OceanBase 中查询,查询语句 show parameters like '%obconfig_url%'
- 用户名与密码:用户名与密码需要权限较高,详情参见权限要求部分
启停 OB_Log_Reader
- 进入 OceanBase 数据节点详情页面
- 在基础配置–OB_Log_Reader 配置中通过开关控制启停
- 停止 OB_Log_Reader 需要依赖于 OB_Log_Reader 的增量监听数据任务为已暂停状态
修改 OB_Log_Reader 同步列表
- 进入 OceanBase 数据节点详情页面
- 在基础配置–OB_Log_Reader 配置中暂停 OB_Log_Reader
- 点击「修改同步列表」
- 选择数据表并保存
- 开启 OB_Log_Reader
采集代理接口
Manager 状态检测接口
请求方式:GET
Url:http://${IP}:${PORT}/manager/ping
Response mimetype : text/plain
Curl 样例:
curl -u datapipeline:Dp_123456 ${IP}:${PORT}/manager/ping
Response Body :
pong
| 返回参数 | 参数解释 | 备注 |
|---|---|---|
| - | 返回消息体 | 作为描述接口返回结果, pong 代表调用成功 |
Manager 运行时间接口
请求方式 : GET
Url : http://${IP}:${PORT}/manager/runtime
Response mimetype : text/plain
Curl 样例:
curl -u datapipeline:Dp_123456 ${IP}:${PORT}/manager/runtime
Response Body :
31 minutes ago
| 返回参数 | 参数解释 | 备注 |
|---|---|---|
| - | 返回消息体 | 作为描述接口返回结果, 可以看出 manager 程序运行时间 |
获取某个节点的日志解析进度
请求方式 : GET
Url : http://${IP}:${PORT}/agent/point/${nodeId}
Response mimetype : text/plain
Curl 样例:
curl -u datapipeline:Dp_123456 ${IP}:${PORT}/agent/point/${nodeId}
request param :
| 请求参数 | 参数解释 | 备注 |
|---|---|---|
| nodeID | 节点 ID |
Response Body :
1711079261
| 返回参数 | 参数解释 | 备注 |
|---|---|---|
| - | 返回消息体 | 作为 OceeanBase Agent 的进度10位时间戳, 该值会一直更新, 不管是DML, 还是DDL, 还是 HEARTBEAT消息, 如果长时间不更新, 可以断定Agent已经处于非正常运行状态 |
获取Agent的详细状态
请求方式 : GET
Url : http://${IP}:${PORT}/agent/status/detail
Response mimetype : application/json
Curl 样例:
curl -u datapipeline:Dp_123456 ${IP}:${PORT}/agent/status/detail
Response Body :
{
"state": 200,
"msg": "Ocean-Base-Agent get status succeed.",
"data": [
{
"nodeId": "79",
"cmd": [
"oblogAgent",
"/ocean_conf/79/etc/liboblog.conf",
"/ocean_conf/79/schedule",
"/ocean_conf/79/error",
"79",
"kafka1:9092"
],
"state": "RUNNING",
"confParent": "/ocean_conf/79",
"pid": 11,
"manualStartTime": "2024-03-22 02:16:48.000000",
"manualScn": 1711028386.0,
"scheduleStartTime": "2024-03-22 02:18:50.000000",
"scheduleScn": 1711073865.0
}
]
}
| 返回参数 | 参数解释 | 备注 |
|---|---|---|
| state | 接口是否成功调用 | 200代表成功, 500代表失败 |
| msg | 返回消息体 | 返回消息 |
| data | 返回数据 (数组) | 返回的详细数据 |
| nodeId | 节点ID | |
| cmd | 执行command | |
| state | Agent 状态 | |
| confParent | Agent 持久化配置路径 | |
| pid | Agent 进程号 | |
| manualStartTime | Agent 手动启动时间 | 从界面上手动启动的时间 |
| manualScn | Agent 手动启动当前位点 | 手动启动时候的Agent的解析进度位点 |
| scheduleStartTime | Agent 异常拉起时间 | Schedule文件30S(可配置) 没有更新切Agent状态为Down会自动拉起 |
| scheduleScn | Agent 异常拉起时间当前位点 | 异常拉起时候的解析进度位点 |
采集代理自动重启
生效逻辑:采集代理遇到报错会自动重启,继续当前进度位点采集数据。
配置方法:在配置文件中进行修改,新增参数
| 参数名称 | 参数说明 | 默认值 | 单位 |
|---|---|---|---|
| CDC_ERROR_RESTART_INTERVAL | Agent错误拉启时间间隔(Schedule 文件60S内没更新且Agent状态是 Down则拉起) | 60 | 秒 |
| CDC_MONITOR_JOB_INTERVAL | Agent定时监控任务 | 10 | 秒 |
注意事项
数据节点与数据链路中获取到的元数据信息均由 OceanBase JDBC 连接配置中的用户与密码获得,JDBC 连接配置中的用户与 OB_Log_Reader 中配置的用户权限可能不同,会导致缺少您需要同步的数据表或在 OB_Log_Reader 中选择同步列表失败,针对如上情况,您需要:
- 检查 JDBC 连接配置中的用户与 OB_Log_Reader 中配置的用户权限
- 修改权限后在 OB_Log_Reader 选表弹窗内刷新元数据
- 选择需要的数据表并保存
OB_Log_Reader 作为一个独立的日志采集组件,可以独立部署于 DataPipeline 集群之外,或随 DataPipeline 集群部署,详情参见《DataPipeline 部署安装指南》中章节: 3.7 安装 OB_Log_Reader