跳到主要内容
版本:v5.3

Gbase 8c

配置要求​

在进行配置之前,请务必检查您的 Gbase 8c数据节点是否符合平台要求,参考如下:

要求详情
版本要求+ JDBC 读取、逻辑复制读取模式支持 V5 3.0.0 版本
+ JDBC 写入支持 V5 3.0.0 版本;
权限要求1. 逻辑复制读取模式:操作用户需要拥有 REPLICATION 权限,对 pg_user 表有 SELECT 权限,对源端业务数据库有 SELECT 权限。
2. JDBC 读取模式:pg_user 表的 SELECT 权限
3. JDBC 写入模式:
- 当不需要同步 DDL 时,需要具备 database 的 CONNECT;schema 的 USAGE;table 的 SELECT/INSERT/UPDATE/DELETE/TRUNCATE 权限
- 当需要同步 DDL 时,需要具备 database 的 CONNECT;schema 的 CREATE/USAGE;table 的 SELECT/INSERT/UPDATE/DELETE/TRUNCATE 权限
其他要求1. JDBC 读取模式:
- 要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例: SequenceID),更新时间戳(例: UpdatedAt)
2. 逻辑复制读取模式:
- 设置 GUC 参数 wal_level = logical。
- 设置 GUC 参数 enable_slot_log = on。
- 设置 GUC 参数 max_replication_slots >= 每个节点所需的(物理流复制槽数 + 备份槽数 + 逻辑复制槽数)。
- 以下场景请将表的 REPLICA IDENTITY 属性配置为 FULL。关于 REPLICA IDENTITY 属性说明请参考:https://www.postgresql.org/docs/16/sql-altertable.html#SQL-ALTERTABLE-REPLICA-IDENTITY 。
无主键表。否则无法捕获到删除事件。建议对无主键表追加主键。
需要将删除事件在数据目的地转换为插入事件或更新事件。通常见于历史数据保留、审计等场景。
* 需要在数据目的地写入更新事件的更新前数据以及更新后数据。通常见于下游为 KAFKA 数据目的地的数据计算场景。

操作步骤​

新建弹窗界面选择了 Gbase 8c 节点类型之后,显示 Gbase 8c 的基本信息配置模板:

  • 版本:V5 3.0.0
  • 部署模式:选择“分布式部署”或“集中部署”
  • 服务器地址:
    • 当部署模式为“分布式部署”时,输入Coordinator Node地址(例:123.207.123.213)。
    • 当部署模式为“集中部署”时,输入服务器地址(例:123.207.123.213)。
  • 端口:输入连接数据节点的端口值。
  • 数据库:请输入数据库名称。
  • 认证类型:选择认证类型。
    • 口令认证:
      • 用户名和密码:输入可访问该数据节点的用户名和密码。
    • SSL认证:
      • 当连接参数为“使用证书”,请选择证书签发机构。
        • 当签发机构为“认证中心”时,请输入用户名称。
        • 当签发机构为“自签发”时,请输入用户名称,选择认证模式,并上传 CA 证书、客户端证书、客户端密钥。
      • 当连接参数为“NonValidatingFactory通道”时,请输入用户名称,用户密码。

数据类型​

Gbase8c的数据类型DataPipeline中展示的数据类型
TINYINTint1
SMALLINTint2
SMALLSERIAL
INTEGERint4
BINARY_INTEGER
SERIAL
BIGINTint8
BIGSERIAL
NUMERICnumeric
DECIMAL
NUMBER
REALfloat4
FLOAT4
DOUBLEfloat8
FLOAT8
FLOAT
BINARY_DOUBLE
BOOLEANbool
CHAR(n)bpchar
CHARACTER(n)
NCHAR(n)
VARCHAR(n)varchar
CHARACTER VARYING(n)
VARCHAR2(n)
TEXTtext
BYTEAbytea
DATEtimestamp
TIMESTAMP[(p)][WITHOUT TIME ZONE]
TIME [(p)] [WITHOUTTIME ZONE]time
TIME [(p)] [WITHTIME ZONE]timetz
TIMESTAMP[(p)][WITH TIME ZONE]timestamptz

表类型​

  • 支持行存表、列存表
  • 支持 REPLICATION、HASH、MODULO 三种表分布类型
  • 支持分区表

视图​

  • 当Gbase8c 作为源时
    • 选择“逻辑复制”读取方式时,不支持普通视图的同步
    • 选择“JDBC”读取方式时,支持普通视图的同步
  • 当Gbase8c 作为目的时
    • 不支持普通视图的写入

索引​

  • 当Gbase8c 作为源时
    • 不支持获取表中索引
  • 当Gbase8c 作为目的地时
    • 支持创建普通索引和唯一索引
    • 支持单字段和复合索引
    • 支持创建正序和倒叙索引

说明:由于适配的 Gbase8c V5 3.0.0 版本的列存表不支持创建主键,当Gbase8c 作为目的地且在写入配置中选择列存表时,如源端表有主键,需要在字段映射中,手动操作取消目的地的主键,否则会在创建表时报错

注意事项​

  • 当读取方式为逻辑复制方式时:
    • 不支持 interval partition 表、不支持全局临时表的复制。
    • 在分布键键值变更的场景下(极短时间内先进行删除再进行写入),如果新写入数据分布的 DN 节点与被删除数据分布的 DN 节点不一致,可能出现解析乱序情况,导致数据目的地出现以下现象:
      • 数据加载策略为 merge:同步至目的地时丢失写入数据。
      • 数据加载策略为 insert:
        • 数据目的地存在主键或配置逻辑主键,数据写入目的地时由于主键冲突进入错误队列。
        • 数据目的地无主键且未配置逻辑主键,不是消息队列类型节点时,数据写入目的地后出现重复数据。
        • 数据目的地为消息队列类型节点,如 Kafka,同步至数据目的地时先记录写入操作再记录删除操作。
  • 节点限制:

wal2json的实现机制,是开启了复制槽后,会定期的flush lsn ,通知数据库,这一批已经处理完了。这个时候,数据库会根据返回的信息,定期处理和回收日志,因此pg系的对于wal2json的同步方式,指定LSN的预期将很难确定,无法确认数据库回收了多少,举例,复制槽开始时是100,系统复制到了10000,这个时候可能日志回收被处理的是100-10000之间的一个值,然后如果指定了一个小于10000的数,如果启动时没有被回收则从该点继续读,如果回收了,则从最小的开始读,因此这个功能对于用户而言预期和实际有很大的偏差,对于该节点,只能提供暂停时进度,激活时间为起点,这两个起点设置,暂不支持指定起点的功能。