跳到主要内容
版本:v4.8

配置 Gbase 8s 数据节点

配置要求​

在进行配置之前,请务必检查您的 Gbase 8s 数据节点是否符合平台要求,参考如下:

要求详情
版本要求
- 数据源 JDBC 读取支持 Gbase 8s 8.7、8.8 版本
- 数据源 Gbase 8s CDC读取支持 Gbase 8s 8.7、8.8 版本
权限要求
- DataPipeline Gbase 8s CDC 读取:
- 为用户授予 syscdcv1 库的 DBA 权限
- 为用户授予 sysmaster 库的 connect 权限
- 为用户授予采集库的 connect 权限
- JDBC读取:
- 为用户授予采集库的 connect 权限
其他要求
- DataPipeline Gbase 8s CDC 读取:
- Gbase 8s CDC 部署过程中需要提供 gbasedbt 用户,用于创建 syscdcv1、sysadmin 库
- JDBC读取模式:
- 如果要用 JDBC 模式同步增量数据,则要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新时间戳(例: UpdatedAt)

操作步骤​

新建弹窗界面选择了 Gbase 8s 节点类型之后,显示 Gbase 8s 的基本信息配置模板:
连接配置:

  • 通用配置
    • 名称:必须填写,50 字符限制,是该数据源在 DataPipeline 的唯一标识,不允许重复
    • 描述:选填
    • 项目:必选,默认为「未分组」
    • 类型:必选
    • 版本:必选
  • JDBC 配置
    • 服务器地址:必填
    • 端口:必填
    • 数据库:必填,填写您采集的 Database 名称
    • 认证类型:必选,支持口令认证和 LDAP 认证
    • 连接参数:输入 Gbase 8s JDBC 连接支持的所有连接参数
  • DataPipeline Gbase 8s CDC 配置
    • 数据库服务名称:请输入数据库服务名称

注意事项​

  • Gbase 8s 支持做数据源,暂不支持做数据目的地。
  • Gbase 8s CDC 任务中含初次全量初始化的映射时,任务激活成功后,会有短暂的不读数据的时间(30s - 1min 不等),这个过程中程序在等待 CDC 记录增量位点。任务激活成功后,任意一张表有增量产生,都会缩短这个过程。

支持的数据类型​


字段类型是否支持
1BIGINT是
2BIGSERIAL是
3BYTE是,采集此数据需反查数据库,会对数据库造成压力
4CHAR(n)是
5CHARACTER VARYING(m,r)是
6DATE是
7DATETIME是
8DECIMAL (p,s)是
9DOUBLE是
10FLOAT(n)是
11INT8是
12INTEGER是
13INTERVAL是
14MONEY(p,s)是
15NCHAR(n)否
16NUMERIC(p,s)是
17NVARCHAR(m,r)是
18REAL是
19SERIAL(n)是
20SERIAL8(n)是
21SMALLFLOAT是
22SMALLINT是
23TEXT是,采集此数据需反查数据库,会对数据库造成压力
24VARCHAR(m,r)是
25LVARCHAR是
26BLOB是,采集此数据需反查数据库,会对数据库造成压力
27BOOLEAN是
28CLOB是,采集此数据需反查数据库,会对数据库造成压力
29JSON是,采集此数据需反查数据库,会对数据库造成压力
30BSON是,采集此数据需反查数据库,会对数据库造成压力
31XML是
32ROW是
33Collection Data Type(Set、List、Multiset)否
34VARCHAR2是,仅 Gbase 8s 8.8 支持