版本说明
- 数据源 JDBC 读取模式支持:3.2.8.x;
- 数据源 CDC 读取模式支持:2.x、3.x、4.2.5.2 及以下版本;
- 数据源 CDC 读取一般情况下不支持云部署方式版本, 因为云上版本, 需要将 OBCDC 也部署到其上方, 需要特别注意网络通信;
- 数据目 JDBC 写入模式支持:3.2.8.x版本。
当前OB-Sharding仅支持MySQL租户。
读取方式
| 读取方式 | 场景 | 权限要求 | 对应功能 |
|---|---|---|---|
| JDBC | 批量同步场景,全量初始化 | 需要给用户授予相关视图和表的 SELECT 权限 | 1、选表,读取数据 2、任务运行,读取权限 |
| OB_Log_Reader | 增量监听场景 | + OB_Log_Reader(MySQL 模式) - 对源端业务数据库有 SELECT 权限。 GRANT SELECT ON \<database_name>. TO \<user_name>; - 对源端租户的 OceanBase、Information_schema 和 MySQL 数据库的 SELECT 权限。 - 在 OceanBase 数据库的 sys 租户下创建一个用户,并赋予其 select on *.* 权限GRANT SELECT ON .* TO \<user_name> ; + OB_Log_Reader 模式中填写的连接字符串需要在 OceanBase 中查询,查询语句 SHOW PARAMETERS LIKE '%OBCONFIG_URL%'; | 1、增量读取 2、任务运行,读取权限 |
采集代理运维
请参考Oceanbase节点相关章节。
使用 ob-sharding ,obcdc需配置变量
CDC_HOST=172.16.2.59:8000 # cdc容器部署地址
SHARDING_MODE=true
注意事项:
⚠️obcdc配置问题,如果cdc使用的是同一个ocp-url,只需要配置一个obcdc即可。如果配置多个cdc的话,需要确保每个CDC监听的范围不重复,否则会出现重复监听,造成重复数据的情况。
⚠️注意如果新建表符合表达式范围的,无需暂停ob-logreader重新配置,可以直接创建任务。如果不在监听范围的,需要增加到监听白名单里。
⚠️obcdc恢复问题:由于OBSharding 可以配置多个CDC,因此如果出现一个cdc暂停,一个运行的情况。
需要手动激活暂停的cdc,或者将运行中的cdc暂停,再激活,否则会激活失败。
obcdc全增量衔接的问题,可能会出现多数的情况,建议目的地需要有主键,或者设置逻辑主键,方便去重。
写入方式
| 写入方式 | 场景 | 权限要求 | 对应功能说明 |
|---|---|---|---|
| JDBC | 写入 | + MYSQL 模式 - 需要给用户授予 CREATE、SELECT、INSERT、UPDATE、DELETE、DROP、INDEX、ALTER 权限 GRANT CREATE、SELECT、INSERT、UPDATE、DELETE、DROP、INDEX、ALTER ON \<database_name>. TO \<user_name>; | 1、创建表 2、任务运行,读取写入权限 3、选表,写入数据 4、清空目的地表 5、删除重建表,结构变化 |
注意事项:
当前不推荐ob-sharding节点作为目的地节点,ob-sharding自身是分区表,写入时,需要向不同的分区进行提交,因此写入速率较慢。
节点特性
表
| 表类型 | 支持读取 | 支持写入 |
|---|---|---|
| 普通表 | ✅ | ✅ |
| 拆分表 | ✅ | ✅ |
| 分库不分表 | ✅ | ✅ |
| 系统表 | ❌ | ❌ |
视图
| 视图类型 | 支持读取 | 支持写入 |
|---|---|---|
| 普通视图 | ❌ | ❌ |
索引
当前暂不支持创建目的地表,因此不支持创建索引。
数据类型
MySQL模式
| 数据类型分类 | 官方类型 | DP定义类型 | 作为源支持情况 | 作为目的地支持情况 | 备注 |
|---|---|---|---|---|---|
| 数值类型 | INT/INTEGER | INT | ✔️ | ✔️ | INT等价于INTEGER。 |
| INT_UNSIGNED | ✔️ | ✔️ | 所有数据类型都可以同时使用UNSIGNED关键字声明为无符号类型,这会导致值域发生变化。 | ||
| TINYINT | TINYINT | ✔️ | ✔️ | BOOL等价于BOOLEAN,这两个类型又等价于TINYINT(1)。 | |
| TINYINT_UNSIGNED | ✔️ | ✔️ | |||
| BIGINT | BIGINT | ✔️ | ✔️ | ||
| BIGINT_UNSIGNED | ✔️ | ✔️ | |||
| SMALLINT | SMALLINT | ✔️ | ✔️ | ||
| SMALLINT_UNSIGNED | ✔️ | ✔️ | |||
| MEDIUMINT | MEDIUMINT | ✔️ | ✔️ | ||
| MEDIUMINT_UNSIGNED | ✔️ | ✔️ | |||
| DECIMAL/NUMERIC | DECIMAL | ✔️ | ✔️ | DECIMAL等价于NUMERIC | |
| DOUBLE | DOUBLE | ✔️ | ✔️ | ||
| FLOAT | FLOAT | ✔️ | ✔️ | ||
| BIT | BIT | ✔️ | ✔️ | ||
| 字符类型 | VARCHAR | VARCHAR | ✔️ | ✔️ | |
| JSON | JSON | ✔️ | ✔️ | OceanBase 4.x 及以上版本支持的字段类型。 | |
| CHAR | CHAR | ✔️ | ✔️ | ||
| VARBINARY | VARBINARY | ✔️ | ✔️ | ||
| BINARY | BINARY | ✔️ | ✔️ | ||
| enum | ENUM | ✔️ | ✔️ | ||
| set | SET | ✔️ | ✔️ | ||
| 日期和时间类型 | DATETIME | DATETIME | ✔️ | ✔️ | |
| TIMESTAMP | TIMESTAMP | ✔️ | ✔️ | ||
| DATE | DATE | ✔️ | ✔️ | ||
| TIME | TIME | ✔️ | ✔️ | ||
| YEAR | YEAR | ✔️ | ✔️ | ||
| 大对象类型 | TINYTEXT | TINYTEXT | ✔️ | ✔️ | |
| TINYBLOB | TINYBLOB | ✔️ | ✔️ | ||
| TEXT | TEXT | ✔️ | ✔️ | ||
| BLOB | BLOB | ✔️ | ✔️ | ||
| MEDIUMTEXT | MEDIUMTEXT | ✔️ | ✔️ | ||
| MEDIUMBLOB | MEDIUMBLOB | ✔️ | ✔️ | ||
| LONGTEXT | LONGTEXT | ✔️ | ✔️ | ||
| LONGBLOB | LONGBLOB | ✔️ | ✔️ | ||
| 空间数据类型 | GEOMETRY | ❌ | ❌ | ❌ | 空间数据类型均不支持 |
| POINT | ❌ | ❌ | ❌ | ||
| LINESTRING | ❌ | ❌ | ❌ | ||
| POLYGON | ❌ | ❌ | ❌ | ||
| MULTIPOINT | ❌ | ❌ | ❌ | ||
| MULTILINESTRING | ❌ | ❌ | ❌ | ||
| MULTIPOLYGON | ❌ | ❌ | ❌ | ||
| GEOMETRYCOLLECTION | ❌ | ❌ | ❌ |
DML
MYSQL模式
读取
| 读取模式 | DML识别 | 捕获信息 | 限制 |
|---|---|---|---|
| JDBC | INSERT | 源端读取支持的所有字段类型 | 【限制】不支持列筛选 |
| CDC | INSERT | 源端读取支持的所有字段类型 | |
| UPDATE | before:支持的所有字段 after:支持的所有字段 | ||
| UPSERT | before:支持的所有字段 after:支持的所有字段 | ||
| DELETE | before:支持的所有字段 after:null |
写入
| 写入策略 | 写入SQL语法 | 限制 |
|---|---|---|
| INSERT | INSERT %s INTO %s (%s) VALUES (%s) | 无 |
| UPDATE | UPDATE %s SET %s WHERE %s | 无 |
| DELETE | DELETE FROM %s WHERE (%s) in (%s) | 无 |
| MERGE | MERGE INTO %s D USING %s S ON (%s) WHEN NOT MATCHED " + "THEN INSERT (%s) VALUES (%s) %s | 无 |
| IGNORE | 忽略,不做写入 | 无 |
DDL
| SQL类型 | SQL示例 | 作用 | 支持解析 | 支持写入 | 备注 |
|---|---|---|---|---|---|
| Alter Table | alter table A12 change c1 c2 VARCHAR(50) default 'default_value_1' null; | 修改字段 | ✔️ | ✔️ | |
| alter\n \t table A12 add new_column int default 2 not null; | 新加字段 | ✔️ | ✔️ | 带有转义字符 | |
| alter table A12 drop column new_column26; | 删除字段 | ✔️ | ✔️ | ||
| alter table A12 modify c2 VARCHAR(51) default 'default_value_1' null; | 修改字段 | ✔️ | ✔️ | modify写法 | |
| alter table A12 rename column c1 to c11 | 修改字段 | ✔️ | ✔️ | ||
ALTER TABLE test.111jq2 MODIFY COLUMN col2 decimal(10, 6) NULL; | 修改字段 | ✔️ | ✔️ | 带有符号的表名 | |
ALTER TABLE test.111jr MODIFY COLUMN username varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL | 修改字段 | ✔️ | ✔️ | 复杂的带有符号包裹的表名 | |
| ALTER TABLE A12 ADD COLUMN (C10 INT GENERATED ALWAYS AS (id + 1) STORED) | 修改字段 | ✔️ | ✔️ | 带有函数的Alter语句 | |
| / ApplicationName=DataGrip 2021.3.1 / alter table suhj.A12 add new_column113 int | 修改字段 | ✔️ | ✔️ | 带有注释的语句 | |
| Truncate | truncate table A12; | 截断表 | ✔️ | ✔️ | |
| truncate A12; | 截断表 | ✔️ | ✔️ | 截断表(不带 table关键字) | |
| truncate table suhj. A12; | 截断表 | ✔️ | ✔️ | 截断表(带有多个空格) | |
truncate table suhj.asss23; | 截断表 | ✔️ | ✔️ | 带有符号包裹的表名 |
添加OB Sharding 数据节点操作步骤
- 新建弹窗界面选择了 OB Sharding节点类型之后,显示基本信息配置模板:
- 版本:Oceanbase -Sharding 3.2.8.x
- 时区:默认+08:00
- JDBC 配置:
- 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或instance1.oceanbase.example.com
- 端口:输入连接数据节点的端口值
- 实例ID:输入 实例ID
- 数据库:输入数据库
- 用户名和密码:输入可访问该数据节点的用户名和密码
- 网页IP和端口:填写OBsharding的网页IP和端口
- 网页用户名和密码:填写Obsharding网页访问的用户吗和密码
- 连接参数:添加 KEY、VALUE 值
- jdbc 大数据同步超时—节点可配置连接参数
- sessionVariables ob_query_timeout=10000000000
- ob_trx_timeout=100000000000
- jdbc 大数据同步超时—节点可配置连接参数
- DataPipeline OB_Log_Reader 配置:
- 若实例管理的物理节点跨多个集群,需为每个集群的物理节点分别配置 OBLog-Reader。
- 服务器地址和端口:
- 用户名与密码:用户名与密码需要权限较高,详情参见权限要求部分
- Ocp地址 :需要输入Ocp平台的url
注意事项
数据节点与数据链路中获取到的元数据信息均由 OB-Sharding JDBC 连接配置中的用户与密码获得,JDBC 连接配置中的用户与 OB_Log_Reader 中配置的用户权限可能不同,会导致缺少您需要同步的数据表或在 OB_Log_Reader 中选择同步列表失败,针对如上情况,您需要:
- 检查 JDBC 连接配置中的用户与 OB_Log_Reader 中配置的用户权限
- 修改权限后在 OB_Log_Reader 选表弹窗内刷新元数据
- 选择需要的数据表并保存
OB_Log_Reader 作为一个独立的日志采集组件,可以独立部署于 DataPipeline 集群之外,或随 DataPipeline 集群部署,详情参见《DataPipeline 部署安装指南》中章节: 3.7 安装 OB_Log_Reader