跳到主要内容
版本:v4.20

一、版本说明

支持的 Gbase 8s版本如下:

  • 数据源 JDBC 读取支持 Gbase 8s 8.7、8.8 版本
  • 数据源 Gbase 8s CDC读取支持 Gbase 8s 8.7、8.8 版本
  • 数据源 Gbase 8s 采集代理读取支持 Gbase 8s 8.7 版本(主备)

二、约束及限制

  • Gbase 8s 支持做数据源,暂不支持做数据目的地;
  • Gbase 8s CDC 部署过程中需要提供 gbasedbt 用户,用于创建 syscdcv1、sysadmin 库;
  • JDBC 模式同步增量同步要求需要同步的表拥有增量识别字段。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新时间戳(例: UpdatedAt);
  • Gbase 8s CDC 任务中含初次全量初始化的映射时,任务激活成功后,会有短暂的不读数据的时间(30s - 1min 不等),这个过程中程序在等待 CDC 记录增量位点。任务激活成功后,任意一张表有增量产生,都会缩短这个过程。
  • Gbase 8s采集代理模式暂不支持跳板机

三、读取方式

Datapipeline 读取 Gbase 8s 数据库支持三种读取方式:JDBC、Gbase 8s采集代理 和 Gbase8s CDC

2.1 JDBC 读取方式​

2.1.1 权限要求​

  • 为用户授予采集库的 connect 权限

2.2 Datapipeline Gbase 8s 采集代理读取方式​

2.2.1 权限要求​

当前采集代理支持备库采集,因此校验内容包含以下两个:

1 校验用户是否有权限访问该数据库,同时是否开启日志,确保备库与主库的日志配置和模式一致。

**select * from sysmaster:sysdatabases where name='%s'**​

2 校验表的权限是否与主库一致

**select owner, tabname, case when dt.flags=16 then 'raw' when dt.flags=32 then 'external' else 'standard' end type1 from systables dt**​

3 确认主库的逻辑日志状态是否正常

**select number,uniqid from sysmaster:syslogs where is_current=1**​

4 确认主库和备库的存储块配置一致(如页大小、存储路径),文件路径是否可访问。

**select chknum,pagesize,chksize,fname,offset from sysmaster:syschunks where chknum=%d**​

2.3 Gbase8s CDC 读取方式​

2.3.1 权限要求​

  • 为用户授予 syscdcv1 库的 DBA 权限
  • 为用户授予 sysmaster 库的 connect 权限
  • 为用户授予采集库的 connect 权限

四、节点特性

4.1 表​

表类型JDBC读取Datapipeline Gbase8s 采集代理读取Gbase8s CDC读取
普通表,即堆组织表,含分区表,无压缩支持支持
索引组织表支持不支持
临时表支持不支持
外部表支持不支持
压缩表支持不支持
嵌套表支持不支持
对象表支持不支持
簇表支持不支持
列存储表支持不支持
分布数表支持不支持
内存表支持不支持

4.2 视图​

暂不支持

4.3 索引​

索引类型JDBC读取 Datapipeline Gbase8s 采集代理读取Gbase8s CDC读取
普通索引支持支持支持
唯一索引支持支持支持

4.4 数据类型​

分类字段类型JDBCGbase8s 采集代理CDC
数值类型SMALLINT是是是
INT8是是是
INTEGER是是是
BIGINT是是是
NUMERIC(p,s)是是是
DECIMAL (p,s)是是是
REAL是是是
SMALLFLOAT是是是
FLOAT(n)是是是
DOUBLE是是是
SERIAL(n)是是是
SERIAL8(n)是是是
BIGSERIAL是是是
字符类型CHAR(n)是是是
NCHAR(n)否是否
VARCHAR(m,r)是是是
NVARCHAR(m,r)是是是
LVARCHAR是是是
CHARACTER VARYING(m,r)是8.7不支持(创建后为varchar类型)是
VARCHAR2是,仅 Gbase 8s 8.8 支持8.7不支持是,仅 Gbase 8s 8.8 支持
时间类型DATE是是是
DATETIME是是是
INTERVAL是是是
大字段类型TEXT是,采集此数据需反查数据库,会对数据库造成压力否是,采集此数据需反查数据库,会对数据库造成压力
BYTE同上否同上
BLOB同上否同上
CLOB同上否同上
JSON同上否同上
BSON同上否同上
XML是8.7不支持是
ROW是否是
布尔类型BOOLEAN是是是
其他MONEY(p,s)是否是
Collection Data Type(Set、List、Multiset)否否否
NULL是

4.5 DML\&DDL​

DML类型JDBC读取 Datapipeline Gbase8s 采集代理读取Gbase8s CDC读取
insert支持支持支持
update--支持支持
delete--支持支持
DDL类型JDBC读取(两条数据Diff比较) Datapipeline Gbase8s 采集代理读取Gbase8s CDC读取
加列(add column)支持支持支持
删列(drop column)支持支持支持
重命名列(rename)--支持支持
修改列的字段类型(modify)支持支持支持
删表(drop table)--支持支持
清空表(truncate table)--支持支持

五、添加Gbase8s节点测操作步骤

操作步骤​

新建弹窗界面选择了 Gbase 8s 节点类型之后,显示 Gbase 8s 的基本信息配置模板:

连接配置:

  • 通用配置
    • 名称:必须填写,50 字符限制,是该数据源在 DataPipeline 的唯一标识,不允许重复
    • 描述:选填
    • 项目:必选,默认为「未分组」
    • 类型:必选
    • 版本:必选(8.7 / 8.8)
  • JDBC 配置
    • 服务器地址:必填
    • 端口:必填
    • 数据库:必填,填写您采集的 Database 名称
    • 认证类型:必选,支持口令认证
    • 连接参数:输入 Gbase 8s JDBC 连接支持的所有连接参数
  • DataPipeline Gbase 8s CDC 配置
    • 数据库服务名称:请输入数据库服务名称
  • Gbase 8s 采集代理配置
    • 采集代理连接配置:
      • 服务器地址:采集代理程序所在机器
      • 端口号:采集代理程序端口
    • 缓存配置:
      • 使用系统kafka作为缓存
      • 使用外部kafka作为缓存