跳到主要内容
版本:v4.24

版本说明

  1. 数据源 JDBC 读取模式支持:3.2.8.x;
  2. 数据源 CDC 读取模式支持:2.x、3.x、4.2.5.2 及以下版本;
  3. 数据源 CDC 读取一般情况下不支持云部署方式版本, 因为云上版本, 需要将 OBCDC 也部署到其上方, 需要特别注意网络通信;
  4. 数据目 JDBC 写入模式支持:3.2.8.x版本。
注意:

当前OB-Sharding仅支持MySQL租户。

读取方式

读取方式场景权限要求对应功能
JDBC批量同步场景,全量初始化需要给用户授予相关视图和表的 SELECT 权限
1、选表,读取数据
2、任务运行,读取权限
OB_Log_Reader增量监听场景+ OB_Log_Reader(MySQL 模式)
- 对源端业务数据库有 SELECT 权限。
GRANT SELECT ON \<database_name>. TO \<user_name>;
- 对源端租户的 OceanBase、Information_schema 和 MySQL 数据库的 SELECT 权限。
- 在 OceanBase 数据库的 sys 租户下创建一个用户,并赋予其 select on *.* 权限
GRANT SELECT ON .* TO \<user_name> ;
+ OB_Log_Reader 模式中填写的连接字符串需要在 OceanBase 中查询,查询语句 SHOW PARAMETERS LIKE '%OBCONFIG_URL%';
1、增量读取
2、任务运行,读取权限

采集代理运维​

请参考Oceanbase节点相关章节。

使用 ob-sharding ,obcdc需配置变量

  • CDC_HOST=172.16.2.59:8000 # cdc容器部署地址

  • SHARDING_MODE=true

提示

注意事项:

⚠️obcdc配置问题,如果cdc使用的是同一个ocp-url,只需要配置一个obcdc即可。如果配置多个cdc的话,需要确保每个CDC监听的范围不重复,否则会出现重复监听,造成重复数据的情况。

⚠️注意如果新建表符合表达式范围的,无需暂停ob-logreader重新配置,可以直接创建任务。如果不在监听范围的,需要增加到监听白名单里。

⚠️obcdc恢复问题:由于OBSharding 可以配置多个CDC,因此如果出现一个cdc暂停,一个运行的情况。

需要手动激活暂停的cdc,或者将运行中的cdc暂停,再激活,否则会激活失败。

obcdc全增量衔接的问题,可能会出现多数的情况,建议目的地需要有主键,或者设置逻辑主键,方便去重。

写入方式

写入方式场景权限要求对应功能说明
JDBC写入+ MYSQL 模式
- 需要给用户授予 CREATE、SELECT、INSERT、UPDATE、DELETE、DROP、INDEX、ALTER 权限
GRANT CREATE、SELECT、INSERT、UPDATE、DELETE、DROP、INDEX、ALTER ON \<database_name>. TO \<user_name>;

1、创建表
2、任务运行,读取写入权限
3、选表,写入数据
4、清空目的地表
5、删除重建表,结构变化
提示

注意事项:

当前不推荐ob-sharding节点作为目的地节点,ob-sharding自身是分区表,写入时,需要向不同的分区进行提交,因此写入速率较慢。

节点特性

表​

表类型支持读取支持写入
普通表✅✅
拆分表✅✅
分库不分表✅✅
系统表❌❌

视图​

视图类型支持读取支持写入
普通视图❌❌

索引​

当前暂不支持创建目的地表,因此不支持创建索引。

数据类型​

MySQL模式​

数据类型分类官方类型DP定义类型作为源支持情况作为目的地支持情况备注
数值类型INT/INTEGERINT✔️✔️INT等价于INTEGER。
INT_UNSIGNED✔️✔️所有数据类型都可以同时使用UNSIGNED关键字声明为无符号类型,这会导致值域发生变化。
TINYINTTINYINT✔️✔️BOOL等价于BOOLEAN,这两个类型又等价于TINYINT(1)。
TINYINT_UNSIGNED✔️✔️
BIGINTBIGINT✔️✔️
BIGINT_UNSIGNED✔️✔️
SMALLINTSMALLINT✔️✔️
SMALLINT_UNSIGNED✔️✔️
MEDIUMINTMEDIUMINT✔️✔️
MEDIUMINT_UNSIGNED✔️✔️
DECIMAL/NUMERICDECIMAL✔️✔️DECIMAL等价于NUMERIC
DOUBLEDOUBLE✔️✔️
FLOATFLOAT✔️✔️
BITBIT✔️✔️
字符类型VARCHARVARCHAR✔️✔️
JSONJSON✔️✔️OceanBase 4.x 及以上版本支持的字段类型。
CHARCHAR✔️✔️
VARBINARYVARBINARY✔️✔️
BINARYBINARY✔️✔️
enumENUM✔️✔️
setSET✔️✔️
日期和时间类型DATETIMEDATETIME✔️✔️
TIMESTAMPTIMESTAMP✔️✔️
DATEDATE✔️✔️
TIMETIME✔️✔️
YEARYEAR✔️✔️
大对象类型TINYTEXTTINYTEXT✔️✔️
TINYBLOBTINYBLOB✔️✔️
TEXTTEXT✔️✔️
BLOBBLOB✔️✔️
MEDIUMTEXTMEDIUMTEXT✔️✔️
MEDIUMBLOBMEDIUMBLOB✔️✔️
LONGTEXTLONGTEXT✔️✔️
LONGBLOBLONGBLOB✔️✔️
空间数据类型GEOMETRY❌❌❌空间数据类型均不支持
POINT❌❌❌
LINESTRING❌❌❌
POLYGON❌❌❌
MULTIPOINT❌❌❌
MULTILINESTRING❌❌❌
MULTIPOLYGON❌❌❌
GEOMETRYCOLLECTION❌❌❌

DML​

MYSQL模式​

读取​

读取模式DML识别捕获信息限制
JDBCINSERT源端读取支持的所有字段类型【限制】不支持列筛选


CDCINSERT源端读取支持的所有字段类型
UPDATEbefore:支持的所有字段
after:支持的所有字段
UPSERTbefore:支持的所有字段
after:支持的所有字段
DELETEbefore:支持的所有字段
after:null

写入​

写入策略写入SQL语法限制
INSERTINSERT %s INTO %s (%s) VALUES (%s)无
UPDATEUPDATE %s SET %s WHERE %s无
DELETEDELETE FROM %s WHERE (%s) in (%s)无
MERGEMERGE INTO %s D USING %s S ON (%s) WHEN NOT MATCHED " + "THEN INSERT (%s) VALUES (%s) %s无
IGNORE忽略,不做写入无

DDL​

SQL类型SQL示例作用支持解析支持写入备注
Alter Table
alter table A12 change c1 c2 VARCHAR(50) default 'default_value_1' null;修改字段✔️✔️
alter\n \t table A12 add new_column int default 2 not null;新加字段✔️✔️带有转义字符
alter table A12 drop column new_column26;删除字段✔️✔️
alter table A12 modify c2 VARCHAR(51) default 'default_value_1' null;修改字段✔️✔️modify写法
alter table A12 rename column c1 to c11修改字段✔️✔️
ALTER TABLE test.111jq2 MODIFY COLUMN col2 decimal(10, 6) NULL;修改字段✔️✔️带有符号的表名
ALTER TABLE test.111jr MODIFY COLUMN username varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL修改字段✔️✔️复杂的带有符号包裹的表名
ALTER TABLE A12 ADD COLUMN (C10 INT GENERATED ALWAYS AS (id + 1) STORED)修改字段✔️✔️带有函数的Alter语句
/ ApplicationName=DataGrip 2021.3.1 / alter table suhj.A12 add new_column113 int修改字段✔️✔️带有注释的语句
Truncate
truncate table A12;截断表✔️✔️
truncate A12;截断表✔️✔️截断表(不带 table关键字)
truncate table suhj. A12;截断表✔️✔️截断表(带有多个空格)
truncate table suhj.asss23;截断表✔️✔️带有符号包裹的表名

​

添加OB Sharding 数据节点操作步骤

  1. 新建弹窗界面选择了 OB Sharding节点类型之后,显示基本信息配置模板:
  • 版本:Oceanbase -Sharding 3.2.8.x
  • 时区:默认+08:00
  • JDBC 配置:
    • 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或instance1.oceanbase.example.com
    • 端口:输入连接数据节点的端口值
    • 实例ID:输入 实例ID
    • 数据库:输入数据库
    • 用户名和密码:输入可访问该数据节点的用户名和密码
    • 网页IP和端口:填写OBsharding的网页IP和端口
    • 网页用户名和密码:填写Obsharding网页访问的用户吗和密码
    • 连接参数:添加 KEY、VALUE 值
      • jdbc 大数据同步超时—节点可配置连接参数
        • sessionVariables ob_query_timeout=10000000000
        • ob_trx_timeout=100000000000
  • DataPipeline OB_Log_Reader 配置:
    • 若实例管理的物理节点跨多个集群,需为每个集群的物理节点分别配置 OBLog-Reader。
    • 服务器地址和端口:
    • 用户名与密码:用户名与密码需要权限较高,详情参见权限要求部分
    • Ocp地址 :需要输入Ocp平台的url

注意事项

警告

数据节点与数据链路中获取到的元数据信息均由 OB-Sharding JDBC 连接配置中的用户与密码获得,JDBC 连接配置中的用户与 OB_Log_Reader 中配置的用户权限可能不同,会导致缺少您需要同步的数据表或在 OB_Log_Reader 中选择同步列表失败,针对如上情况,您需要:

  • 检查 JDBC 连接配置中的用户与 OB_Log_Reader 中配置的用户权限
  • 修改权限后在 OB_Log_Reader 选表弹窗内刷新元数据
  • 选择需要的数据表并保存

OB_Log_Reader 作为一个独立的日志采集组件,可以独立部署于 DataPipeline 集群之外,或随 DataPipeline 集群部署,详情参见《DataPipeline 部署安装指南》中章节: 3.7 安装 OB_Log_Reader