跳到主要内容
版本:v5.5

一、版本说明

支持的 Gbase 8s版本如下:

  • 数据源 JDBC 读取支持 Gbase 8s 8.7、8.8 版本
  • 数据源 Gbase 8s CDC读取支持 Gbase 8s 8.7、8.8 版本
  • 数据源 Gbase 8s 采集代理读取支持 Gbase 8s 8.7 版本(主备)
  • 目的地 Gbase 8s JDBC 写入支持 8.8版本

二、约束及限制

  • Gbase 8s CDC 部署过程中需要提供 gbasedbt 用户,用于创建 syscdcv1、sysadmin 库;
  • JDBC 模式同步增量同步要求需要同步的表拥有增量识别字段。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新时间戳(例: UpdatedAt);
  • Gbase 8s CDC 任务中含初次全量初始化的映射时,任务激活成功后,会有短暂的不读数据的时间(30s - 1min 不等),这个过程中程序在等待 CDC 记录增量位点。任务激活成功后,任意一张表有增量产生,都会缩短这个过程。
  • Gbase 8s采集代理模式暂不支持跳板机

三、读取方式

Datapipeline 读取 Gbase 8s 数据库支持三种读取方式:JDBC、Gbase 8s采集代理 和 Gbase8s CDC

3.1 JDBC 读取方式​

3.1.1 权限要求​

  • 为用户授予采集库的 connect 权限

3.2 Datapipeline Gbase 8s 采集代理读取方式​

3.2.1 权限要求​

当前采集代理支持备库采集,因此校验内容包含以下两个:

1 校验用户是否有权限访问该数据库,同时是否开启日志,确保备库与主库的日志配置和模式一致。

**select * from sysmaster:sysdatabases where name='%s'**​

2 校验表的权限是否与主库一致

**select owner, tabname, case when dt.flags=16 then 'raw' when dt.flags=32 then 'external' else 'standard' end type1 from systables dt**​

3 确认主库的逻辑日志状态是否正常

**select number,uniqid from sysmaster:syslogs where is_current=1**​

4 确认主库和备库的存储块配置一致(如页大小、存储路径),文件路径是否可访问。

**select chknum,pagesize,chksize,fname,offset from sysmaster:syschunks where chknum=%d**​

3.3 Gbase8s CDC 读取方式​

3.3.1 权限要求​

  • 为用户授予 syscdcv1 库的 DBA 权限
  • 为用户授予 sysmaster 库的 connect 权限
  • 为用户授予采集库的 connect 权限

四、写入方式

DataPipeline 支持使用 JDBC 连接写入数据。

4.1 JDBC写入​

4.1.1 权限要求​

为用户授予采集库和表的 SELECT,ALTER,INSERT,UPDATE,DELETE,DROP,INDEX,CREATE 权限

五、节点特性

5.1 表​

表类型JDBC读取Datapipeline Gbase8s 采集代理读取Gbase8s CDC读取
普通表,即堆组织表,含分区表,无压缩支持支持支持
索引组织表支持不支持不支持
临时表支持不支持不支持
外部表支持不支持不支持
压缩表支持不支持不支持
嵌套表支持不支持不支持
对象表支持不支持不支持
簇表支持不支持不支持
列存储表支持不支持不支持
分布数表支持不支持不支持
内存表支持不支持不支持

5.2 视图​

暂不支持

5.3 索引​

索引类型JDBC读取 Datapipeline Gbase8s 采集代理读取Gbase8s CDC读取
普通索引支持支持支持
唯一索引支持支持支持

5.4 数据类型​

分类字段类型JDBCGbase8s 采集代理CDC
数值类型SMALLINT✓✓✓
INT8✓✓✓
INTEGER✓✓✓
BIGINT✓✓✓
NUMERIC(p,s)✓✓✓
DECIMAL (p,s)✓✓✓
REAL✓✓✓
SMALLFLOAT✓✓✓
FLOAT(n)✓✓✓
DOUBLE✓✓✓
SERIAL(n)✓✓✓
SERIAL8(n)✓✓✓
BIGSERIAL✓✓✓
字符类型CHAR(n)✓✓✓
NCHAR(n)✗✓✗
VARCHAR(m,r)✓✓✓
NVARCHAR(m,r)✓✓✓
LVARCHAR✓✓✓
CHARACTER VARYING(m,r)✓8.7不支持(创建后为varchar类型)✓
VARCHAR2✓,仅 Gbase 8s 8.8 支持✓,8.7不支持✓,仅 Gbase 8s 8.8 支持
时间类型DATE✓✓✓
DATETIME✓✓✓
INTERVAL✓✓✓
大字段类型TEXT✓,采集此数据需反查数据库,会对数据库造成压力✗✓,采集此数据需反查数据库,会对数据库造成压力
BYTE同上✗同上
BLOB同上✗同上
CLOB同上✗同上
JSON同上✗同上
BSON同上✗同上
XML✓✓,8.7不支持✓
ROW✓✗✓
布尔类型BOOLEAN✓✓✓
其他MONEY(p,s)✓✗✓
Collection Data Type(Set、List、Multiset)✗✗✗
NULL✗✓✗

5.5 DML\&DDL​

DML类型JDBC读取 Datapipeline Gbase8s 采集代理读取Gbase8s CDC读取
insert支持支持支持
update--支持支持
delete--支持支持
DDL类型JDBC读取(两条数据Diff比较) Datapipeline Gbase8s 采集代理读取Gbase8s CDC读取
加列(add column)支持支持支持
删列(drop column)支持支持支持
重命名列(rename)--支持支持
修改列的字段类型(modify)支持支持支持
删表(drop table)--支持支持
清空表(truncate table)--支持支持

六、添加Gbase8s节点测操作步骤

操作步骤​

新建弹窗界面选择了 Gbase 8s 节点类型之后,显示 Gbase 8s 的基本信息配置模板:

连接配置:

  • 通用配置
    • 名称:必须填写,50 字符限制,是该数据源在 DataPipeline 的唯一标识,不允许重复
    • 描述:选填
    • 项目:必选,默认为「未分组」
    • 类型:必选
    • 版本:必选(8.7 / 8.8)
  • JDBC 配置
    • 服务器地址:必填
    • 端口:必填
    • 兼容模式:gbase/oracle(仅支持8.8版本)
    • 数据库:必填,填写您采集的 Database 名称
    • 认证类型:必选,支持口令认证
    • 连接参数:输入 Gbase 8s JDBC 连接支持的所有连接参数
  • DataPipeline Gbase 8s CDC 配置
    • 数据库服务名称:请输入数据库服务名称
  • Gbase 8s 采集代理配置
    • 采集代理连接配置:
      • 服务器地址:采集代理程序所在机器
      • 端口号:采集代理程序端口
    • 缓存配置:
      • 使用系统kafka作为缓存
      • 使用外部kafka作为缓存