版本:v5.2
一、版本说明
支持的 Gbase 8s版本如下:
- 数据源 JDBC 读取支持 Gbase 8s 8.7、8.8 版本
- 数据源 Gbase 8s CDC读取支持 Gbase 8s 8.7、8.8 版本
- 数据源 Gbase 8s 采集代理读取支持 Gbase 8s 8.7 版本(主备)
- 目的地 Gbase 8s JDBC 写入支持 8.8版本
二、约束及限制
- Gbase 8s CDC 部署过程中需要提供 gbasedbt 用户,用于创建 syscdcv1、sysadmin 库;
- JDBC 模式同步增量同步要求需要同步的表拥有增量识别字段。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新时间戳(例: UpdatedAt);
- Gbase 8s CDC 任务中含初次全量初始化的映射时,任务激活成功后,会有短暂的不读数据的时间(30s - 1min 不等),这个过程中程序在等待 CDC 记录增量位点。任务激活成功后,任意一张表有增量产生,都会缩短这个过程。
- Gbase 8s采集代理模式暂不支持跳板机
三、读取方式
Datapipeline 读取 Gbase 8s 数据库支持三种读取方式:JDBC、Gbase 8s采集代理 和 Gbase8s CDC
3.1 JDBC 读取方式
3.1.1 权限要求
- 为用户授予采集库的 connect 权限
3.2 Datapipeline Gbase 8s 采集代理读取方式
3.2.1 权限要求
当前采集代理支持备库采集,因此校验内容包含以下两个:
1 校验用户是否有权限访问该数据库,同时是否开启日志,确保备库与主库的日志配置和模式一致。
**select * from sysmaster:sysdatabases where name='%s'**
2 校验表的权限是否与主库一致
**select owner, tabname, case when dt.flags=16 then 'raw' when dt.flags=32 then 'external' else 'standard' end type1 from systables dt**
3 确认主库的逻辑日志状态是否正常
**select number,uniqid from sysmaster:syslogs where is_current=1**
4 确认主库和备库的存储块配置一致(如页大小、存储路径),文件路径是否可访问。
**select chknum,pagesize,chksize,fname,offset from sysmaster:syschunks where chknum=%d**
3.3 Gbase8s CDC 读取方式
3.3.1 权限要求
- 为用户授予 syscdcv1 库的 DBA 权限
- 为用户授予 sysmaster 库的 connect 权限
- 为用户授予采集库的 connect 权限
四、写入方式
DataPipeline 支持使用 JDBC 连接写入数据。
4.1 JDBC写入
4.1.1 权限要求
为用户授予采集库和表的 SELECT,ALTER,INSERT,UPDATE,DELETE,DROP,INDEX,CREATE 权限
五、节点特性
5.1 表
| 表类型 | JDBC读取 | Datapipeline Gbase8s 采集代理读取 | Gbase8s CDC读取 |
|---|---|---|---|
| 普通表,即堆组织表,含分区表,无压缩 | 支持 | 支持 | 支持 |
| 索引组织表 | 支持 | 不支持 | 不支持 |
| 临时表 | 支持 | 不支持 | 不支持 |
| 外部表 | 支持 | 不支持 | 不支持 |
| 压缩表 | 支持 | 不支持 | 不支持 |
| 嵌套表 | 支持 | 不支持 | 不支持 |
| 对象表 | 支持 | 不支持 | 不支持 |
| 簇表 | 支持 | 不支持 | 不支持 |
| 列存储表 | 支持 | 不支持 | 不支持 |
| 分布数表 | 支持 | 不支持 | 不支持 |
| 内存表 | 支持 | 不支持 | 不支持 |
5.2 视图
暂不支持
5.3 索引
| 索引类型 | JDBC读取 | Datapipeline Gbase8s 采集代理读取 | Gbase8s CDC读取 |
|---|---|---|---|
| 普通索引 | 支持 | 支持 | 支持 |
| 唯一索引 | 支持 | 支持 | 支持 |
5.4 数据类型
| 分类 | 字段类型 | JDBC | Gbase8s 采集代理 | CDC |
|---|---|---|---|---|
| 数值类型 | SMALLINT | ✓ | ✓ | ✓ |
| INT8 | ✓ | ✓ | ✓ | |
| INTEGER | ✓ | ✓ | ✓ | |
| BIGINT | ✓ | ✓ | ✓ | |
| NUMERIC(p,s) | ✓ | ✓ | ✓ | |
| DECIMAL (p,s) | ✓ | ✓ | ✓ | |
| REAL | ✓ | ✓ | ✓ | |
| SMALLFLOAT | ✓ | ✓ | ✓ | |
| FLOAT(n) | ✓ | ✓ | ✓ | |
| DOUBLE | ✓ | ✓ | ✓ | |
| SERIAL(n) | ✓ | ✓ | ✓ | |
| SERIAL8(n) | ✓ | ✓ | ✓ | |
| BIGSERIAL | ✓ | ✓ | ✓ | |
| 字符类型 | CHAR(n) | ✓ | ✓ | ✓ |
| NCHAR(n) | ✗ | ✓ | ✗ | |
| VARCHAR(m,r) | ✓ | ✓ | ✓ | |
| NVARCHAR(m,r) | ✓ | ✓ | ✓ | |
| LVARCHAR | ✓ | ✓ | ✓ | |
| CHARACTER VARYING(m,r) | ✓ | 8.7不支持(创建后为varchar类型) | ✓ | |
| VARCHAR2 | ✓,仅 Gbase 8s 8.8 支持 | ✓,8.7不支持 | ✓,仅 Gbase 8s 8.8 支持 | |
| 时间类型 | DATE | ✓ | ✓ | ✓ |
| DATETIME | ✓ | ✓ | ✓ | |
| INTERVAL | ✓ | ✓ | ✓ | |
| 大字段类型 | TEXT | ✓,采集此数据需反查数据库,会对数据库造成压力 | ✗ | ✓,采集此数据需反查数据库,会对数据库造成压力 |
| BYTE | 同上 | ✗ | 同上 | |
| BLOB | 同上 | ✗ | 同上 | |
| CLOB | 同上 | ✗ | 同上 | |
| JSON | 同上 | ✗ | 同上 | |
| BSON | 同上 | ✗ | 同上 | |
| XML | ✓ | ✓,8.7不支持 | ✓ | |
| ROW | ✓ | ✗ | ✓ | |
| 布尔类型 | BOOLEAN | ✓ | ✓ | ✓ |
| 其他 | MONEY(p,s) | ✓ | ✗ | ✓ |
| Collection Data Type(Set、List、Multiset) | ✗ | ✗ | ✗ | |
| NULL | ✗ | ✓ | ✗ |
5.5 DML\&DDL
| DML类型 | JDBC读取 | Datapipeline Gbase8s 采集代理读取 | Gbase8s CDC读取 |
|---|---|---|---|
| insert | 支持 | 支持 | 支持 |
| update | -- | 支持 | 支持 |
| delete | -- | 支持 | 支持 |
| DDL类型 | JDBC读取(两条数据Diff比较) | Datapipeline Gbase8s 采集代理读取 | Gbase8s CDC读取 |
|---|---|---|---|
| 加列(add column) | 支持 | 支持 | 支持 |
| 删列(drop column) | 支持 | 支持 | 支持 |
| 重命名列(rename) | -- | 支持 | 支持 |
| 修改列的字段类型(modify) | 支持 | 支持 | 支持 |
| 删表(drop table) | -- | 支持 | 支持 |
| 清空表(truncate table) | -- | 支持 | 支持 |
六、添加Gbase8s节点测操作步骤
操作步骤
新建弹窗界面选择了 Gbase 8s 节点类型之后,显示 Gbase 8s 的基本信息配置模板:
连接配置:
- 通用配置
- 名称:必须填写,50 字符限制,是该数据源在 DataPipeline 的唯一标识,不允许重复
- 描述:选填
- 项目:必选,默认为「未分组」
- 类型:必选
- 版本:必选(8.7 / 8.8)
- JDBC 配置
- 服务器地址:必填
- 端口:必填
- 兼容模式:gbase/oracle(仅支持8.8版本)
- 数据库:必填,填写您采集的 Database 名称
- 认证类型:必选,支持口令认证
- 连接参数:输入 Gbase 8s JDBC 连接支持的所有连接参数
- DataPipeline Gbase 8s CDC 配置
- 数据库服务名称:请输入数据库服务名称
- Gbase 8s 采集代理配置
- 采集代理连接配置:
- 服务器地址:采集代理程序所在机器
- 端口号:采集代理程序端口
- 缓存配置:
- 使用系统kafka作为缓存
- 使用外部kafka作为缓存
- 采集代理连接配置: