版本:v4.15
Gbase 8c
配置要求
在进行配置之前,请务必检查您的 Gbase 8c数据节点是否符合平台要求,参考如下:
| 要求 | 详情 |
|---|---|
| 版本要求 | 支持:V5 3.0.0 版本 |
| 权限要求 | 1. 逻辑复制读取模式:操作用户需要拥有 REPLICATION 权限,对 pg_user 表有 SELECT 权限,对源端业务数据库有 SELECT 权限。 2. JDBC 读取模式:pg_user 表的 SELECT 权限 3. JDBC 写入模式: - 当不需要同步 DDL 时,需要具备 database 的 CONNECT;schema 的 USAGE;table 的 SELECT/INSERT/UPDATE/DELETE/TRUNCATE 权限 - 当需要同步 DDL 时,需要具备 database 的 CONNECT;schema 的 CREATE/USAGE;table 的 SELECT/INSERT/UPDATE/DELETE/TRUNCATE 权限 |
| 其他要求 | 1. JDBC 读取模式: - 要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例: SequenceID),更新时间戳(例: UpdatedAt) 2. 逻辑复制读取模式: - 设置 GUC 参数 wal_level = logical。 - 设置 GUC 参数 enable_slot_log = on。 - 设置 GUC 参数 max_replication_slots >= 每个节点所需的(物理流复制槽数 + 备份槽数 + 逻辑复制槽数)。 - 以下场景请将表的 REPLICA IDENTITY 属性配置为 FULL。关于 REPLICA IDENTITY 属性说明请参考:https://www.postgresql.org/docs/16/sql-altertable.html#SQL-ALTERTABLE-REPLICA-IDENTITY 。 无主键表。否则无法捕获到删除事件。建议对无主键表追加主键。 需要将删除事件在数据目的地转换为插入事件或更新事件。通常见于历史数据保留、审计等场景。 * 需要在数据目的地写入更新事件的更新前数据以及更新后数据。通常见于下游为 KAFKA 数据目的地的数据计算场景。 |
操作步骤
新建弹窗界面选择了 Gbase 8c 节点类型之后,显示 Gbase 8c 的基本信息配置模板:
- 版本:V5 3.0.0
- 部署模式:选择“分布式部署”或“集中部署”
- 服务器地址:
- 当部署模式为“分布式部署”时,输入Coordinator Node地址(例:123.207.123.213)。
- 当部署模式为“集中部署”时,输入服务器地址(例:123.207.123.213)。
- 端口:输入连接数据节点的端口值。
- 数据库:请输入数据库名称。
- 认证类型:选择认证类型。
- 口令认证:
- 用户名和密码:输入可访问该数据节点的用户名和密码。
- SSL认证:
- 当连接参数为“使用证书”,请选择证书签发机构。
- 当签发机构为“认证中心”时,请输入用户名称。
- 当签发机构为“自签发”时,请输入用户名称,选择认证模式,并上传 CA 证书、客户端证书、客户端密钥。
- 当连接参数为“NonValidatingFactory通道”时,请输入用户名称,用户密码。
- 当连接参数为“使用证书”,请选择证书签发机构。
- 口令认证:
数据类型
| Gbase8c的数据类型 | DataPipeline中展示的数据类型 |
|---|---|
| TINYINT | int1 |
| SMALLINT | int2 |
| SMALLSERIAL | |
| INTEGER | int4 |
| BINARY_INTEGER | |
| SERIAL | |
| BIGINT | int8 |
| BIGSERIAL | |
| NUMERIC | numeric |
| DECIMAL | |
| NUMBER | |
| REAL | float4 |
| FLOAT4 | |
| DOUBLE | float8 |
| FLOAT8 | |
| FLOAT | |
| BINARY_DOUBLE | |
| BOOLEAN | bool |
| CHAR(n) | bpchar |
| CHARACTER(n) | |
| NCHAR(n) | |
| VARCHAR(n) | varchar |
| CHARACTER VARYING(n) | |
| VARCHAR2(n) | |
| TEXT | text |
| BYTEA | bytea |
| DATE | timestamp |
| TIMESTAMP[(p)][WITHOUT TIME ZONE] | |
| TIME [(p)] [WITHOUTTIME ZONE] | time |
| TIME [(p)] [WITHTIME ZONE] | timetz |
| TIMESTAMP[(p)][WITH TIME ZONE] | timestamptz |
表类型
- 支持行存表、列存表
- 支持 REPLICATION、HASH、MODULO 三种表分布类型
- 支持分区表
视图
- 当Gbase8c 作为源时
- 选择“逻辑复制”读取方式时,不支持普通视图的同步
- 选择“JDBC”读取方式时,支持普通视图的同步
- 当Gbase8c 作为目的时
- 不支持普通视图的写入
索引
- 当Gbase8c 作为源时
- 不支持获取表中索引
- 当Gbase8c 作为目的地时
- 支持创建普通索引和唯一索引
- 支持单字段和复合索引
- 支持创建正序和倒叙索引
说明:由于适配的 Gbase8c V5 3.0.0 版本的列存表不支持创建主键,当Gbase8c 作为目的地且在写入配置中选择列存表时,如源端表有主键,需要在字段映射中,手动操作取消目的地的主键,否则会在创建表时报错
注意事项
- 当读取方式为逻辑复制方式时:
- 不支持 interval partition 表、不支持全局临时表的复制。
- 在分布键键值变更的场景下(极短时间内先进行删除再进行写入),如果新写入数据分布的 DN 节点与被删除数据分布的 DN 节点不一致,可能出现解析乱序情况,导致数据目的地出现以下现象:
- 数据加载策略为 merge:同步至目的地时丢失写入数据。
- 数据加载策略为 insert:
- 数据目的地存在主键或配置逻辑主键,数据写入目的地时由于主键冲突进入错误队列。
- 数据目的地无主键且未配置逻辑主键,不是消息队列类型节点时,数据写入目的地后出现重复数据。
- 数据目的地为消息队列类型节点,如 Kafka,同步至数据目的地时先记录写入操作再记录删除操作。