跳到主要内容
版本:v5.0

版本说明

  1. 数据源 JDBC 读取模式支持:2.x、3.x、4.x版本;
  2. 数据源 CDC 读取模式支持:2.x、3.x、4.2.5.2 及以下版本;
  3. 数据源 CDC 读取一般情况下不支持云部署方式版本, 因为云上版本, 需要将 OBCDC 也部署到其上方, 需要特别注意网络通信;
  4. 数据目 JDBC 写入模式支持:2.x、3.x、4.x版本。

读取方式

读取方式场景权限要求对应功能
JDBC批量同步场景,全量初始化需要给用户授予相关视图和表的 SELECT 权限
1、选表,读取数据
2、任务运行,读取权限
OB_Log_Reader增量监听场景+ OB_Log_Reader(MySQL 模式)
- 对源端业务数据库有 SELECT 权限。
GRANT SELECT ON \<database_name>. TO \<user_name>;
- 对源端租户的 OceanBase、Information_schema 和 MySQL 数据库的 SELECT 权限。
- 在 OceanBase 数据库的 sys 租户下创建一个用户,并赋予其 select on oceanbase.* 权限
GRANT SELECT ON oceanbase. TO \<user_name> ;
+ OB_Log_Reader(Oracle 模式)
- 对于OceanBase V2.2.70 之前版本
GRANT SELECT ON . TO \<user_name>;
- 对于OceanBase V2.2.70 之后版本,需要在 OceanBase 数据库的 sys 租户下创建一个用户,并赋予其 `select on oceanbase.
`权限
GRANT SELECT ON oceanbase. TO \<user_name> ;
+ OB_Log_Reader 所需的用户与 JDBC 连接所需的用户可以不一致,OB_Log_Reader 的用户需要在 sys 租户下,并拥有 oceanbase 库的 select 权限
1、增量读取
2、任务运行,读取权限

采集代理运维​

Ocenabase的采集代理本身是一个集群支持一个采集代理。但是由于Oceanbase的节点限制,JDBC的连接必须需要租户信息。即多个OB节点可以共用一个OB_Log_Reader。

但是由于多个节点使用一个OB_Log_Reader,因此修改任意一个节点的监听内容,都会下发更改到其他节点上。

提示

注意这里因为采用了白名单的方式,因此非常不建议监听表的内容,写成了..*这种格式。因为这样会导致监听的范围过大,可能会导致占有资源较多,进而出现资源不足,无法激活ob-logreader的情况。

⚠️同时由于采用了白名单的方式,如果新建表符合表达式范围的,无需暂停ob-logreader重新配置,可以直接创建任务。如果不在监听范围的,需要增加到监听白名单里。

添加采集代理​

操作入口:<数据节点><添加节点>

功能说明:参考OceanBase数据节点操作步骤

编辑采集代理​

操作入口:<数据节点><详情><基本配置><编辑>

功能说明:数据节点未被任务关联时,支持修改采集代理的连接信息和采集数据库地址。修改采集的相关信息时需要额外同步相关配置,请与我们联系提供技术支持。

启停 OB_Log_Reader​

操作入口:<数据节点><详情><基本配置><采集代理状态>\<OBLog-Reader 状态>

功能说明:停止 OB_Log_Reader 需要依赖于 OB_Log_Reader 的增量监听数据任务为已暂停状态;

当OBLog-Reader 状态为:Agent 异常!时无法启动OB_Log_Reader,需要修复后并刷新页面后才能操作。

修改 OB_Log_Reader 同步白名单​

操作入口:<数据节点><详情><基本配置><采集代理状态>

白名单配置参考文档:

https://www.oceanbase.com/docs/community-observer-cn-10000000000450605#12-title-Server%20%E7%BA%A7%E9%BB%91%E5%90%8D%E5%8D%95

功能说明:

格式:租户名.库名.表名(例如:mytenant1.db1.tb1|mytenant2.db2.*)

注意:

这里只支持全量更新,因此每次配置的时候,需要在原有的基础上新增,暂不支持append。

采集代理高可用​

功能说明:可以为一个数据节点配置多个采集代理,将多个采集代理的采集数据库地址配置为相同数据节点即可。

当正在使用的OB_Log_Reader发生故障时,无需认为干预,OB_Log_Reader 会自动选举新OB_Log_Reader节点

继续提供服务。

采集代理自动重启​

生效逻辑:采集代理遇到报错会自动重启,继续当前进度位点采集数据。

配置方法:在配置文件中进行修改,新增参数

参数名称参数说明默认值单位
CDC_ERROR_RESTART_INTERVALAgent错误拉启时间间隔(Schedule 文件60S内没更新且Agent状态是 Down则拉起)60秒
CDC_MONITOR_JOB_INTERVALAgent定时监控任务10秒

采集代理接口​

cdc-controller​

POST 添加channel​

POST /agent/add-chan/{type}

  • 请求参数
名称位置类型必选说明
typepathstring是channel 类型
  • 枚举值
属性值
typeKAFKA_STR
typeKAFKA_AVRO
typeCONSOLE
typeFILE
  • 返回样例
{
"data": {},
"msg": "string",
"state": 0
}
  • 返回结果
状态码状态码含义说明数据模型
200OKOKcom.datapipeline.obcdc.obcdc4.bean.CdcResponseJava.lang.Void

GET 获取同步表​

GET /agent/entity/{nodeId}

  • 请求参数
名称位置类型必选说明
nodeIdpathinteger(int32)是none
  • 返回样例
{
"data": {
"tables": [
"string"
]
},
"msg": "string",
"state": 0
}
  • 返回结果
状态码状态码含义说明数据模型
200OKOKcom.datapipeline.obcdc.obcdc4.bean.CdcResponseEntityResponse

POST 更新同步表​

POST /agent/entity/{nodeId}

  • 请求参数
名称位置类型必选中文名说明
nodeIdpathinteger(int32)是节点id
bodybodycom.datapipeline.obcdc.obcdc4.bean.UpdateEntityRequest否更新同步表请求none
  • 返回示例
{
"data": {},
"msg": "string",
"state": 0
}
  • 返回结果
状态码状态码含义说明数据模型
200OKOKcom.datapipeline.obcdc.obcdc4.bean.CdcResponseJava.lang.Void

GET 获取当前位点​

GET /agent/point/{nodeId}

  • 请求参数
名称位置类型必选中文名说明
nodeIdpathinteger(int32)是节点id
  • 返回示例
{
"data": "string",
"msg": "string",
"state": 0
}
  • 返回结果
状态码状态码含义说明数据模型
200OKOKcom.datapipeline.obcdc.obcdc4.bean.CdcResponseJava.lang.String

POST 移除channel​

POST /agent/rm-chan/{type}

  • 请求参数
名称位置类型必选中文名说明
typepathstring是channel 类型
  • 枚举值
属性值
typeKAFKA_STR
typeKAFKA_AVRO
typeCONSOLE
typeFILE
  • 返回示例
{
"data": {},
"msg": "string",
"state": 0
}
  • 返回结果
状态码状态码含义说明数据模型
200OKOKcom.datapipeline.obcdc.obcdc4.bean.CdcResponseJava.lang.Void

POST 激活​

POST /agent/start/{nodeId}

  • Body请求参数
{
"clusterName": "string",
"database": "string",
"host": "string",
"oceanBaseAgentConfig": {
"password": "string",
"user": "string"
},
"password": "string",
"port": 0,
"schema": "string",
"username": "string"
}
  • 请求参数
名称位置类型必选中文名说明
nodeIdpathinteger(int32)是节点id
startTimestampqueryinteger(int64)否启动时间戳
bodybodycom.datapipeline.obcdc.obcdc4.bean.OceanBaseConfig否oceanbase节点配置none
  • 返回示例
{
"data": {},
"msg": "string",
"state": 0
}
  • 返回结果
状态码状态码含义说明数据模型
200OKOKcom.datapipeline.obcdc.obcdc4.bean.CdcResponseJava.lang.Void

GET 获取状态​

GET /agent/status/{nodeId}

  • 请求参数
名称位置类型必选中文名说明
nodeIdpathinteger(int32)是节点id
  • 返回示例
{
"data": "RUN",
"msg": "string",
"state": 0
}
  • 返回结果
状态码状态码含义说明数据模型
200OKOKcom.datapipeline.obcdc.obcdc4.bean.CdcResponseCom.datapipeline.obcdc.obcdc4.service.cdc.module.State

POST 停止​

POST /agent/stop/{nodeId}

  • 请求参数
名称位置类型必选中文名说明
nodeIdpathinteger(int32)是节点id
  • 返回示例
{
"data": {},
"msg": "string",
"state": 0
}
  • 返回结果
状态码状态码含义说明数据模型
200OKOKcom.datapipeline.obcdc.obcdc4.bean.CdcResponseJava.lang.Void

POST 校验​

POST /agent/validate/{nodeId}

  • Body 请求参数
{
"clusterName": "string",
"database": "string",
"host": "string",
"oceanBaseAgentConfig": {
"password": "string",
"user": "string"
},
"password": "string",
"port": 0,
"schema": "string",
"username": "string"
}
  • 请求参数
名称位置类型必选中文名说明
nodeIdpathinteger(int32)是节点id
bodybodycom.datapipeline.obcdc.obcdc4.bean.OceanBaseConfig否oceanbase节点配置none
  • 返回示例
{
"data": {},
"msg": "string",
"state": 0
}
  • 返回结果
状态码状态码含义说明数据模型
200OKOKcom.datapipeline.obcdc.obcdc4.bean.CdcResponseJava.lang.Void

health-controller​

GET 健康运行状态​

GET /health

  • 返回示例
{
"data": {
"currentScn": 0,
"nodeId": 0,
"password": "string",
"state": "string",
"timestamp": 0,
"url": "string",
"user": "string"
},
"msg": "string",
"state": 0
}
  • 返回结果
状态码状态码含义说明数据模型
200OKOKRunInfoEntity

sys-controller​

GET 心跳​

GET /ping

  • 返回结果
状态码状态码含义说明数据模型
200OKOKstring

数据模型​

RunInfoEntity​

 {
"currentScn": 0,
"nodeId": 0,
"password": "string",
"state": "string",
"timestamp": 0,
"url": "string",
"user": "string"
}
  • 属性
名称类型必选约束中文名说明
currentScninteger(int64)falsenonenone
nodeIdinteger(int32)falsenonenone
passwordstringfalsenonenone
statestringfalsenonenone
timestampinteger(int64)falsenonenone
urlstringfalsenonenone
userstringfalsenonenone

UpdateEntityRequest​

 {
"tables": [
"string"
]
}
  • 属性
名称类型必选约束中文名说明
tables[string]falsenone待同步的表(array of database.schema.table)

OceanBaseConfig$CdcConfig​

{
"password": "string",
"user": "string"
}
  • 属性
名称类型必选约束中文名说明
passwordstringfalsenonesys 租户用户密码
userstringfalsenonesys 租户用户名

OceanBaseConfig​

{
"clusterName": "string",
"database": "string",
"host": "string",
"oceanBaseAgentConfig": {
"password": "string",
"user": "string"
},
"password": "string",
"port": 0,
"schema": "string",
"username": "string"
}
  • 属性
名称类型必选约束中文名说明
clusterNamestringfalsenone集群名称
databasestringfalsenone数据库
hoststringfalsenone地址
oceanBaseAgentConfigOceanBaseConfig$CdcConfigfalsenonenone
passwordstringfalsenone密码
portinteger(int32)falsenone端口
schemastringfalsenone架构
usernamestringfalsenone用户

EntityResponse​

{
"tables": [
"string"
]
}
  • 属性
名称类型必选约束中文名说明
tables[string]falsenone同步的表(array of database.schema.table)

CdcResponse​

{
"data": {},
"msg": "string",
"state": 0
}
  • 属性
名称类型必选约束中文名说明
dataobjectfalsenone数据
msgstringfalsenone信息
stateinteger(int32)falsenone状态码

CdcResponse & String​

{
"data": "string",
"msg": "string",
"state": 0
}
  • 属性
名称类型必选约束中文名说明
datastringfalsenone数据
msgstringfalsenone信息
stateinteger(int32)falsenone状态码

CdcResponse & RunInfoEntity​

{
"data": {
"currentScn": 0,
"nodeId": 0,
"password": "string",
"state": "string",
"timestamp": 0,
"url": "string",
"user": "string"
},
"msg": "string",
"state": 0
}
  • 属性
名称类型必选约束中文名说明
dataRunInfoEntityfalsenone数据
msgstringfalsenone信息
stateinteger(int32)falsenone状态码

CdcResponse & State​

{
"data": "RUN",
"msg": "string",
"state": 0
}
  • 属性
名称类型必选约束中文名说明
datastringfalsenone数据
msgstringfalsenone信息
stateinteger(int32)falsenone状态码
  • 枚举值
属性值
dataRUN
dataSTOP
dataERROR

CdcResponseEntityResponse​

{
"data": {
"tables": [
"string"
]
},
"msg": "string",
"state": 0
}
  • 属性
名称类型必选约束中文名说明
dataEntityResponsefalsenone数据
msgstringfalsenone信息
stateinteger(int32)falsenone状态码

​

写入方式

写入方式场景权限要求对应功能说明
JDBC写入+ MYSQL 模式
- 需要给用户授予 CREATE、SELECT、INSERT、UPDATE、DELETE、DROP、INDEX、ALTER 权限
GRANT CREATE、SELECT、INSERT、UPDATE、DELETE、DROP、INDEX、ALTER ON \<database_name>. TO \<user_name>;
+ ORACLE 模式
- 需要给用户授予业务库的 CREATE_SESSION、CREATE Y ANTABLE、ALTER ANY TABLE、DELETE ANY TABLE、DROP ANY TABLE、COMMENT ANY TABLE、INSERT ANY TABLE、SELECT ANY TABLE、UPDATE ANY TABLE、CREATE ANY INDEX 权限
* GRANT CREATE_SESSION、CREATE ANY TABLE、ALTER ANY TABLE、DELETE ANY TABLE、DROP ANY TABLE、COMMENT ANY TABLE、INSERT ANY TABLE、SELECT ANY TABLE、UPDATE ANY TABLE、CREATE ANY INDEX TO \<user_name>;
1、创建表
2、任务运行,读取写入权限
3、选表,写入数据
4、清空目的地表
5、删除重建表,结构变化

节点特性

部署架构​

支持单机和集群架构,OB Server 的集群模式有多种, 并且每个版本都不同, 比较常见的就是\ 3.x 的 主备集群, 该模式需要DBA手动切换使用,4.x 的 主备租户DataPipeline都是支持的

表​

表类型支持读取支持写入
普通表✅✅
分区表✅✅
索引表 (基础表的基础上创建索引)✅✅
系统表❌❌

视图​

视图类型支持读取支持写入
普通视图✅❌

索引​

当前支持在创建目的表时,可以创建索引,目前支持的索引类型及配置

索引类型索引存储方式排序
普通索引Btree支持配置
唯一索引Btree支持配置
主键索引Btree不支持配置,默认为升序

数据类型​

MySQL模式​

数据类型分类官方类型DP定义类型作为源支持情况作为目的地支持情况备注
数值类型INT/INTEGERINT✔️✔️INT等价于INTEGER。
INT_UNSIGNED✔️✔️所有数据类型都可以同时使用UNSIGNED关键字声明为无符号类型,这会导致值域发生变化。
TINYINTTINYINT✔️✔️BOOL等价于BOOLEAN,这两个类型又等价于TINYINT(1)。
TINYINT_UNSIGNED✔️✔️
BIGINTBIGINT✔️✔️
BIGINT_UNSIGNED✔️✔️
SMALLINTSMALLINT✔️✔️
SMALLINT_UNSIGNED✔️✔️
MEDIUMINTMEDIUMINT✔️✔️
MEDIUMINT_UNSIGNED✔️✔️
DECIMAL/NUMERICDECIMAL✔️✔️DECIMAL等价于NUMERIC
DOUBLEDOUBLE✔️✔️
FLOATFLOAT✔️✔️
BITBIT✔️✔️
字符类型VARCHARVARCHAR✔️✔️
JSONJSON✔️✔️OceanBase 4.x 及以上版本支持的字段类型。
CHARCHAR✔️✔️
VARBINARYVARBINARY✔️✔️
BINARYBINARY✔️✔️
enumENUM✔️✔️
setSET✔️✔️
日期和时间类型DATETIMEDATETIME✔️✔️
TIMESTAMPTIMESTAMP✔️✔️
DATEDATE✔️✔️
TIMETIME✔️✔️
YEARYEAR✔️✔️
大对象类型TINYTEXTTINYTEXT✔️✔️
TINYBLOBTINYBLOB✔️✔️
TEXTTEXT✔️✔️
BLOBBLOB✔️✔️
MEDIUMTEXTMEDIUMTEXT✔️✔️
MEDIUMBLOBMEDIUMBLOB✔️✔️
LONGTEXTLONGTEXT✔️✔️
LONGBLOBLONGBLOB✔️✔️
空间数据类型GEOMETRY❌❌❌空间数据类型均不支持
POINT❌❌❌
LINESTRING❌❌❌
POLYGON❌❌❌
MULTIPOINT❌❌❌
MULTILINESTRING❌❌❌
MULTIPOLYGON❌❌❌
GEOMETRYCOLLECTION❌❌❌

Oracle 模式​

数据类型分类官方类型DP定义类型作为源支持情况作为目的地支持情况备注
数值类型NUMBERNUMBER✔️✔️
BINARY_DOUBLEBINARY_DOUBLE✔️✔️
FLOATFLOAT✔️✔️
BINARY_FLOATBINARY_FLOAT✔️✔️
字符类型CHAR(n [charbyte])CHAR✔️✔️
NCHAR[(size)]NCHAR✔️✔️
NVARCHAR2(size)NVARCHAR2✔️✔️
VARCHAR2(n [charbyte])VARCHAR2✔️✔️
VARCHAR(n [charbyte])VARCHAR2✔️❌
日期和时间类型DATEDATE✔️✔️
TIMESTAMP [(scale)]TIMESTAMP✔️✔️
TIMESTAMP [(scale)] WITH TIME ZONETIMESTAMP WITH TIME ZONE✔️✔️
TIMESTAMP [(scale)] WITH LOCAL TIME ZONETIMESTAMP WITH LOCAL TIME ZONE✔️✔️
INTERVAL YEAR TO MONTHINTERVAL DAY TO SECOND✔️✔️
INTERVAL DAY TO SECONDINTERVAL YEAR TO MONTH✔️✔️
大对象类型BLOBBLOB✔️✔️
CLOBCLOB✔️✔️
RAW数据类型RAWRAW✔️✔️
JSON数据类型JSONJSON✔️✔️OceanBase 4.x 及以上版本支持的字段类型。
XML数据类型XMLTYPEXMLTYPE✔️✔️OceanBase 4.x 及以上版本支持的字段类型。
Rowid数据类型ROWID❌❌❌
UROWID❌❌❌
空间数据类型SDO_GEOMETRY❌❌❌

DML​

ORACLE模式​

读取​

读取模式DML识别捕获信息限制
JDBCINSERT源端读取支持的所有字段类型【限制】不支持列筛选


CDCINSERT源端读取支持的所有字段类型
UPDATEbefore:支持的所有字段
after:支持的所有字段
UPSERTbefore:支持的所有字段
after:支持的所有字段
DELETEbefore:支持的所有字段
after:null

写入​

写入策略写入SQL语法限制
INSERTINSERT %s INTO %s (%s) VALUES (%s)
UPDATEUPDATE %s SET %s WHERE %s
DELETEDELETE FROM %s WHERE (%s) in (%s)
MERGEINSERT INTO %s (%s) VALUES %s on duplicate key update %s
IGNORE忽略,不做写入

MYSQL模式​

读取​

读取模式DML识别捕获信息限制
JDBCINSERT源端读取支持的所有字段类型【限制】不支持列筛选


CDCINSERT源端读取支持的所有字段类型
UPDATEbefore:支持的所有字段
after:支持的所有字段
UPSERTbefore:支持的所有字段
after:支持的所有字段
DELETEbefore:支持的所有字段
after:null

写入​

写入策略写入SQL语法限制
INSERTINSERT %s INTO %s (%s) VALUES (%s)无
UPDATEUPDATE %s SET %s WHERE %s无
DELETEDELETE FROM %s WHERE (%s) in (%s)无
MERGEMERGE INTO %s D USING %s S ON (%s) WHEN NOT MATCHED " + "THEN INSERT (%s) VALUES (%s) %s无
IGNORE忽略,不做写入无

DDL​

SQL类型SQL示例作用支持解析支持写入备注
Alter Table
alter table A12 change c1 c2 VARCHAR(50) default 'default_value_1' null;修改字段✔️✔️
alter\n \t table A12 add new_column int default 2 not null;新加字段✔️✔️带有转义字符
alter table A12 drop column new_column26;删除字段✔️✔️
alter table A12 modify c2 VARCHAR(51) default 'default_value_1' null;修改字段✔️✔️modify写法
alter table A12 rename column c1 to c11修改字段✔️✔️
ALTER TABLE test.111jq2 MODIFY COLUMN col2 decimal(10, 6) NULL;修改字段✔️✔️带有符号的表名
ALTER TABLE A12 RENAME TO C12;重命名表✔️✔️大写处理
ALTER TABLE test.111jr MODIFY COLUMN username varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL修改字段✔️✔️复杂的带有符号包裹的表名
ALTER TABLE A12 ADD COLUMN (C10 INT GENERATED ALWAYS AS (id + 1) STORED)修改字段✔️✔️带有函数的Alter语句
/ ApplicationName=DataGrip 2021.3.1 / alter table suhj.A12 add new_column113 int修改字段✔️✔️带有注释的语句
Create Table
create table A12123(column_1 int null);创建表✔️✔️
create table 123A12123(column_1 int null);创建表✔️✔️创建表带有多个空格
create table "start_A12" ( column_1 int, column_2 int )创建表✔️✔️带有转义符号的建表语句
plain create table "src_alltype_0_240604144318541" ( id NUMBER GENERATED BY DEFAULT ON NULL AS IDENTITY, colu1 NUMBER(10,5) null, colu3 NUMBER(5,6) null, colu4 FLOAT(126) null, colu5 FLOAT(63) null, colu6 CHAR(2000) null, colu7 VARCHAR2(3000) null, colu8 NCHAR(1000) null, colu9 NVARCHAR2(2000) null, colu10 DATE null, colu11 CLOB null, colu13 CLOB null, colu14 BINARY_DOUBLE null, colu15 BINARY_FLOAT null, colu16 VARCHAR2(1000) null, colu17 CHAR(500) null, colu18 VARCHAR2(1000) null, colu19 NUMBER null, colu20 FLOAT(126) null, colu22 NCHAR(1) null, colu23 NVARCHAR2(1000) null, colu24 NVARCHAR2(1000) null, colu25 NUMBER null, colu26 FLOAT(63) null, colu27 NUMBER null, colu28 TIMESTAMP (9) null, colu29 TIMESTAMP (6) WITH LOCAL TIME ZONE null, colu30 TIMESTAMP (6) WITH TIME ZONE null, colu31 NCHAR(1000) null, colu32 NVARCHAR2(1000) null, colu33 NUMBER null, colu34 NUMBER null, colu36 BLOB null, test VARCHAR2(110) null, time DATE default SYSDATE null, colu37 INTERVAL HOUR TO MINUTE, colu21 INTERVAL DAY (2) TO SECOND (9) null, colu35 RAW(2000) null, constraint src_alltype_0_240604144318541_pk primary key (id) ) 创建表✔️✔️复杂的超长的建表语句
Truncate
truncate table A12;截断表✔️✔️
truncate A12;截断表✔️✔️截断表(不带 table关键字)
truncate table suhj. A12;截断表✔️✔️截断表(带有多个空格)
truncate table suhj.asss23;截断表✔️✔️带有符号包裹的表名
Rename Table
RENAME TABLE suhi .cs12 TO suhj.A12重命名表✔️❌带有空格的重命名表
rename table A12 to A12_temp重命名表✔️❌带有字符串重复的表名
RENAME A12_temp TO A12重命名表✔️❌大写的带有字段重复的表名

高可用​

当 DataPipeline 连接的 OceanBase 物理备库容灾的高可用下的节点发生故障且连通性校验会失败时,DataPipeline 可以识别,并实现自动切换。当日常运维对 OceanBase 物理备库容灾的高可用做切换时,DataPipeline 支持手动切换。

物理备库容灾是 OceanBase 数据库高可用解决方案的重要组成部分。

物理备库容灾技术面向多个集群,多集群间传输事务日志,建立基于日志的物理热备服务。在 OceanBase 数据库 V4.2.0 版本中,物理备库采用独立的主备库架构,主备关系存在于租户级别,主备之间通过网络直连或第三方日志服务建立传输渠道,只传输日志。不同于以前版本的集中式架构,独立主备库架构下,各个集群是是相互独立的,用户可以更加灵活地管理集群。

租户级主备由于异步同步日志,仅支持最大性能模式,不支持最大保护和最大可用模式,容灾切换时需要保证数据强一致的场景可以采用多副本容灾方案或基于仲裁的容灾方案。

使用前提​

当读取方式是OB_Log_Reader时,需要将所有数据节点与所有OB_Log_Reader完成绑定。如下图所示

自动切换​

物理备库容灾的特点是从库和主库使用的是同一套【唯一事务识别号】

切换原理:OceanBase 物理备库容灾的高可用下的节点发生故障且连通性校验失败时,DataPipeline 会记录原数据节点的解析断点即唯一事务识别号,由于是物理复制,从库有相同的唯一事务识别号作为新的解析起点。

手动切换​

操作入口:<数据节点> <详情><基本配置><切换连接配置>

功能说明:用户手动发起,选择目标数据节点,执行手动切换。

高可用切换相关操作​

  • 在<数据节点> <添加节点>页面,添加多个连接配置,目前多个连接配置的租户类型必须相同。
  • 也可以在<数据节点><基本配置页面>编辑数据节点,增加多个连接配置。
  • 添加或编辑数据节点后会自动生成优先级,可以通过<数据节点> <详情><基本配置><管理优先级>功能修改优先级。
  • <数据节点> <详情><基本配置><切换连接配置>选择目标节点,执行手动切换。
  • <数据节点> <详情><基本配置><管理优先级>调整优先级。
  • <数据节点> <详情><策略配置><连接切换策略>开启自动切换,配置自动切换检测频率。

添加OceanBase数据节点操作步骤

  1. 新建弹窗界面选择了 OceanBase 节点类型之后,显示基本信息配置模板:
  • 版本:Oceanbase 2.x、3.x、4.x
  • JDBC 配置:
    • 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或instance1.oceanbase.example.com
    • 端口:输入连接数据节点的端口值
    • 租户名:输入 Oceanbase 的租户名
    • 集群名:输入 Oceanbase 的集群名
    • 租户类型:选择 OceanBase 的租户类型,可选选项有 MySQL 模式与 Oracle 模式
    • Schema:仅 Oracle 模式下有此选项,当您选择用户权限所有 Schema 时,在链路和任务中可以使用连接用户有权限的所有 Schema;当您指定 Schema 后,在链路和任务中仅能使用指定的 Schema。
    • 数据库:仅 Mysql 模式下有此选项,当您选择用户权限所有库时,在链路和任务中可以使用连接用户有权限的所有数据库;当您指定数据库后,在链路和任务中仅能使用指定的数据库。
    • 用户名和密码:输入可访问该数据节点的用户名和密码
    • 连接参数:添加 KEY、VALUE 值
  • DataPipeline OB_Log_Reader 配置:
    • 集群连接字符串:连接字符串需要在 OceanBase 中查询,查询语句 show parameters like '%obconfig_url%'
    • 用户名与密码:用户名与密码需要权限较高,详情参见权限要求部分

注意事项

警告

数据节点与数据链路中获取到的元数据信息均由 OceanBase JDBC 连接配置中的用户与密码获得,JDBC 连接配置中的用户与 OB_Log_Reader 中配置的用户权限可能不同,会导致缺少您需要同步的数据表或在 OB_Log_Reader 中选择同步列表失败,针对如上情况,您需要:

  • 检查 JDBC 连接配置中的用户与 OB_Log_Reader 中配置的用户权限
  • 修改权限后在 OB_Log_Reader 选表弹窗内刷新元数据
  • 选择需要的数据表并保存

OB_Log_Reader 作为一个独立的日志采集组件,可以独立部署于 DataPipeline 集群之外,或随 DataPipeline 集群部署,详情参见《DataPipeline 部署安装指南》中章节: 3.7 安装 OB_Log_Reader