跳到主要内容
版本:v4.12

配置 OceanBase 数据节点

配置要求​

在进行配置之前,请务必检查您的 OceanBase 数据节点是否符合平台要求,参考如下:

要求详情
版本要求
- Oceanbase 2.x、3.x、4.x
权限要求
- 读取模式
- OB_Log_Reader(MySQL 模式)
- 对源端业务数据库有 SELECT 权限。
- GRANT SELECT ON \<database_name>. TO \<user_name>;
- 对源端租户的 OceanBase、Information_schema 和 MySQL 数据库的 SELECT 权限。
- 在 OceanBase 数据库的 sys 租户下创建一个用户,并赋予其 `select on oceanbase.
权限<br /> - GRANT SELECT ON oceanbase.* TO \<user\_name> ;<br /> - OB\_Log\_Reader(Oracle 模式)<br /> - 对于OceanBase V2.2.70 之前版本<br /> - GRANT SELECT ON *.* TO \<user\_name>;<br /> - 对于OceanBase V2.2.70 之后版本,需要在 OceanBase 数据库的 sys 租户下创建一个用户,并赋予其 select on oceanbase. `权限
- GRANT SELECT ON oceanbase.
TO \<user_name> ;
- JDBC 读取:需要给用户授予相关视图和表的 SELECT 权限
- JDBC 写入:
- MYSQL 模式
- 需要给用户授予 CREATE、SELECT、INSERT、UPDATE、DELETE、DROP、INDEX、ALTER 权限
- GRANT CREATE、SELECT、INSERT、UPDATE、DELETE、DROP、INDEX、ALTER ON \<database_name>.* TO \<user_name>;
- ORACLE 模式
- 需要给用户授予业务库的 CREATE_SESSION、CREATE Y ANTABLE、ALTER ANY TABLE、DELETE ANY TABLE、DROP ANY TABLE、COMMENT ANY TABLE、INSERT ANY TABLE、SELECT ANY TABLE、UPDATE ANY TABLE、CREATE ANY INDEX 权限
- GRANT CREATE_SESSION、CREATE ANY TABLE、ALTER ANY TABLE、DELETE ANY TABLE、DROP ANY TABLE、COMMENT ANY TABLE、INSERT ANY TABLE、SELECT ANY TABLE、UPDATE ANY TABLE、CREATE ANY INDEX TO \<user_name>;
其他要求
- OB_Log_Reader 所需的用户与 JDBC 连接所需的用户可以不一致,OB_Log_Reader 的用户需要在 sys 租户下,并拥有 oceanbase 库的 select 权限

操作步骤 ​

新建数据节点 ​

  1. 新建弹窗界面选择了 OceanBase 节点类型之后,显示 Oracle 的基本信息配置模板:
  • 版本:Oceanbase 2.x、3.x、4.x
  • JDBC 配置:
    • 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或instance1.oceanbase.example.com
    • 端口:输入连接数据节点的端口值
    • 租户名:输入 Oceanbase 的租户名
    • 集群名:输入 Oceanbase 的集群名
    • 租户类型:选择 OceanBase 的租户类型,可选选项有 MySQL 模式与 Oracle 模式
    • Schema:仅 Oracle 模式下有此选项,当您选择用户权限所有 Schema 时,在链路和任务中可以使用连接用户有权限的所有 Schema;当您指定 Schema 后,在链路和任务中仅能使用指定的 Schema。
    • 数据库:仅 Mysql 模式下有此选项,当您选择用户权限所有库时,在链路和任务中可以使用连接用户有权限的所有数据库;当您指定数据库后,在链路和任务中仅能使用指定的数据库。
    • 用户名和密码:输入可访问该数据节点的用户名和密码
    • 连接参数:添加 KEY、VALUE 值
  • DataPipeline OB_Log_Reader 配置:
    • 集群连接字符串:连接字符串需要在 OceanBase 中查询,查询语句 show parameters like '%obconfig_url%'
    • 用户名与密码:用户名与密码需要权限较高,详情参见权限要求部分

启停 OB_Log_Reader ​

  1. 进入 OceanBase 数据节点详情页面
  2. 在基础配置–OB_Log_Reader 配置中通过开关控制启停
  3. 停止 OB_Log_Reader 需要依赖于 OB_Log_Reader 的增量监听数据任务为已暂停状态

修改 OB_Log_Reader 同步列表 ​

  1. 进入 OceanBase 数据节点详情页面
  2. 在基础配置–OB_Log_Reader 配置中暂停 OB_Log_Reader
  3. 点击「修改同步列表」
  4. 选择数据表并保存
  5. 开启 OB_Log_Reader

采集代理接口​

Manager 状态检测接口​

请求方式:GET

Url:http://${IP}:${PORT}/manager/ping

Response mimetype : text/plain

Curl 样例:

curl -u datapipeline:Dp_123456 ${IP}:${PORT}/manager/ping

Response Body :

pong
返回参数参数解释备注
-返回消息体作为描述接口返回结果, pong 代表调用成功
Manager 运行时间接口​

请求方式 : GET

Url : http://${IP}:${PORT}/manager/runtime

Response mimetype : text/plain

Curl 样例:

curl -u datapipeline:Dp_123456 ${IP}:${PORT}/manager/runtime

Response Body :

31 minutes ago
返回参数参数解释备注
-返回消息体作为描述接口返回结果, 可以看出 manager 程序运行时间
获取某个节点的日志解析进度​

请求方式 : GET

Url : http://${IP}:${PORT}/agent/point/${nodeId}

Response mimetype : text/plain

Curl 样例:

curl -u datapipeline:Dp_123456 ${IP}:${PORT}/agent/point/${nodeId}

request param :

请求参数参数解释备注
nodeID节点 ID

Response Body :

1711079261
返回参数参数解释备注
-返回消息体作为 OceeanBase Agent 的进度10位时间戳, 该值会一直更新, 不管是DML, 还是DDL, 还是 HEARTBEAT消息, 如果长时间不更新, 可以断定Agent已经处于非正常运行状态
获取Agent的详细状态​

请求方式 : GET

Url : http://${IP}:${PORT}/agent/status/detail

Response mimetype : application/json

Curl 样例:

curl -u datapipeline:Dp_123456 ${IP}:${PORT}/agent/status/detail

Response Body :

{
"state": 200,
"msg": "Ocean-Base-Agent get status succeed.",
"data": [
{
"nodeId": "79",
"cmd": [
"oblogAgent",
"/ocean_conf/79/etc/liboblog.conf",
"/ocean_conf/79/schedule",
"/ocean_conf/79/error",
"79",
"kafka1:9092"
],
"state": "RUNNING",
"confParent": "/ocean_conf/79",
"pid": 11,
"manualStartTime": "2024-03-22 02:16:48.000000",
"manualScn": 1711028386.0,
"scheduleStartTime": "2024-03-22 02:18:50.000000",
"scheduleScn": 1711073865.0
}
]
}
返回参数参数解释备注
state接口是否成功调用200代表成功, 500代表失败
msg返回消息体返回消息
data返回数据 (数组)返回的详细数据
nodeId节点ID
cmd执行command
stateAgent 状态
confParentAgent 持久化配置路径
pidAgent 进程号
manualStartTimeAgent 手动启动时间从界面上手动启动的时间
manualScnAgent 手动启动当前位点手动启动时候的Agent的解析进度位点
scheduleStartTimeAgent 异常拉起时间Schedule文件30S(可配置) 没有更新切Agent状态为Down会自动拉起
scheduleScnAgent 异常拉起时间当前位点异常拉起时候的解析进度位点

采集代理自动重启​

生效逻辑:采集代理遇到报错会自动重启,继续当前进度位点采集数据。

配置方法:在配置文件中进行修改,新增参数

参数名称参数说明默认值单位
CDC_ERROR_RESTART_INTERVALAgent错误拉启时间间隔(Schedule 文件60S内没更新且Agent状态是 Down则拉起)60秒
CDC_MONITOR_JOB_INTERVALAgent定时监控任务10秒

注意事项​

警告

数据节点与数据链路中获取到的元数据信息均由 OceanBase JDBC 连接配置中的用户与密码获得,JDBC 连接配置中的用户与 OB_Log_Reader 中配置的用户权限可能不同,会导致缺少您需要同步的数据表或在 OB_Log_Reader 中选择同步列表失败,针对如上情况,您需要:

  • 检查 JDBC 连接配置中的用户与 OB_Log_Reader 中配置的用户权限
  • 修改权限后在 OB_Log_Reader 选表弹窗内刷新元数据
  • 选择需要的数据表并保存

OB_Log_Reader 作为一个独立的日志采集组件,可以独立部署于 DataPipeline 集群之外,或随 DataPipeline 集群部署,详情参见《DataPipeline 部署安装指南》中章节: 3.7 安装 OB_Log_Reader