版本:v4.11
配置 Gbase 8s 数据节点
配置要求
在进行配置之前,请务必检查您的 Gbase 8s 数据节点是否符合平台要求,参考如下:
| 要求 | 详情 |
|---|---|
| 版本要求 | - 数据源 JDBC 读取支持 Gbase 8s 8.7、8.8 版本 - 数据源 Gbase 8s CDC读取支持 Gbase 8s 8.7、8.8 版本 |
| 权限要求 | - DataPipeline Gbase 8s CDC 读取: - 为用户授予 syscdcv1 库的 DBA 权限 - 为用户授予 sysmaster 库的 connect 权限 - 为用户授予采集库的 connect 权限 - JDBC读取: - 为用户授予采集库的 connect 权限 |
| 其他要求 | - DataPipeline Gbase 8s CDC 读取: - Gbase 8s CDC 部署过程中需要提供 gbasedbt 用户,用于创建 syscdcv1、sysadmin 库 - JDBC读取模式: - 如果要用 JDBC 模式同步增量数据,则要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新时间戳(例: UpdatedAt) |
操作步骤
新建弹窗界面选择了 Gbase 8s 节点类型之后,显示 Gbase 8s 的基本信息配置模板:
连接配置:
- 通用配置
- 名称:必须填写,50 字符限制,是该数据源在 DataPipeline 的唯一标识,不允许重复
- 描述:选填
- 项目:必选,默认为「未分组」
- 类型:必选
- 版本:必选
- JDBC 配置
- 服务器地址:必填
- 端口:必填
- 数据库:必填,填写您采集的 Database 名称
- 认证类型:必选,支持口令认证和 LDAP 认证
- 连接参数:输入 Gbase 8s JDBC 连接支持的所有连接参数
- DataPipeline Gbase 8s CDC 配置
注意事项
- Gbase 8s 支持做数据源,暂不支持做数据目的地。
- Gbase 8s CDC 任务中含初次全量初始化的映射时,任务激活成功后,会有短暂的不读数据的时间(30s - 1min 不等),这个过程中程序在等待 CDC 记录增量位点。任务激活成功后,任意一张表有增量产生,都会缩短这个过程。
支持的数据类型
| 字段类型 | 是否支持 | |
|---|---|---|
| 1 | BIGINT | 是 |
| 2 | BIGSERIAL | 是 |
| 3 | BYTE | 是,采集此数据需反查数据库,会对数据库造成压力 |
| 4 | CHAR(n) | 是 |
| 5 | CHARACTER VARYING(m,r) | 是 |
| 6 | DATE | 是 |
| 7 | DATETIME | 是 |
| 8 | DECIMAL (p,s) | 是 |
| 9 | DOUBLE | 是 |
| 10 | FLOAT(n) | 是 |
| 11 | INT8 | 是 |
| 12 | INTEGER | 是 |
| 13 | INTERVAL | 是 |
| 14 | MONEY(p,s) | 是 |
| 15 | NCHAR(n) | 否 |
| 16 | NUMERIC(p,s) | 是 |
| 17 | NVARCHAR(m,r) | 是 |
| 18 | REAL | 是 |
| 19 | SERIAL(n) | 是 |
| 20 | SERIAL8(n) | 是 |
| 21 | SMALLFLOAT | 是 |
| 22 | SMALLINT | 是 |
| 23 | TEXT | 是,采集此数据需反查数据库,会对数据库造成压力 |
| 24 | VARCHAR(m,r) | 是 |
| 25 | LVARCHAR | 是 |
| 26 | BLOB | 是,采集此数据需反查数据库,会对数据库造成压力 |
| 27 | BOOLEAN | 是 |
| 28 | CLOB | 是,采集此数据需反查数据库,会对数据库造成压力 |
| 29 | JSON | 是,采集此数据需反查数据库,会对数据库造成压力 |
| 30 | BSON | 是,采集此数据需反查数据库,会对数据库造成压力 |
| 31 | XML | 是 |
| 32 | ROW | 是 |
| 33 | Collection Data Type(Set、List、Multiset) | 否 |
| 34 | VARCHAR2 | 是,仅 Gbase 8s 8.8 支持 |