配置要求
在进行配置之前,请务必检查您的 Gbase 8c数据节点是否符合平台要求,参考如下:
| 要求 | 详情 |
|---|---|
| 版本要求 | + JDBC 读取、逻辑复制读取、PostgreSQL WAL Agent 读取模式支持 V5 3.0.0 版本 + JDBC 写入支持 V5 3.0.0 版本; |
| 权限要求 | 1. 逻辑复制读取模式:操作用户需要拥有 REPLICATION 权限,对 pg_user 表有 SELECT 权限,对源端业务数据库有 SELECT 权限。 2. JDBC 读取模式:pg_user 表的 SELECT 权限 3. PostgreSQL WAL Agent 读取: 1. NOSUPERUSER + REPLICATION,可登录并连接目标库 2. 从 Agent 地址认证,执行 IDENTIFY_SYSTEM 并读取所需连续物理 WAL 3. 查询 pg_control_system()、pg_control_checkpoint()、pg_roles、pg_database、系统目录、pg_locks 及初始化需要的事务/主备/WAL 信息。 4. 目标 schema 的 USAGE、所选表的 SELECT,以及目标数据库 CONNECT。 5. full_page_writes 开启且 checkpoint/WAL 证据有效;所需原生日志连续且保留充分。这些是数据库运行条件,不是账号提权要求。未知格式、缺页/缺日志和不一致证据应阻断。 4. JDBC 写入模式: - 当不需要同步 DDL 时,需要具备 database 的 CONNECT;schema 的 USAGE;table 的 SELECT/INSERT/UPDATE/DELETE/TRUNCATE 权限 - 当需要同步 DDL 时,需要具备 database 的 CONNECT;schema 的 CREATE/USAGE;table 的 SELECT/INSERT/UPDATE/DELETE/TRUNCATE 权限 |
| 其他要求 | 1. JDBC 读取模式: - 要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例: SequenceID),更新时间戳(例: UpdatedAt) 2. 逻辑复制读取模式: - 设置 GUC 参数 wal_level = logical。 - 设置 GUC 参数 enable_slot_log = on。 - 设置 GUC 参数 max_replication_slots >= 每个节点所需的(物理流复制槽数 + 备份槽数 + 逻辑复制槽数)。 - 以下场景请将表的 REPLICA IDENTITY 属性配置为 FULL。关于 REPLICA IDENTITY 属性说明请参考:https://www.postgresql.org/docs/16/sql-altertable.html#SQL-ALTERTABLE-REPLICA-IDENTITY 。 无主键表。否则无法捕获到删除事件。建议对无主键表追加主键。 需要将删除事件在数据目的地转换为插入事件或更新事件。通常见于历史数据保留、审计等场景。 * 需要在数据目的地写入更新事件的更新前数据以及更新后数据。通常见于下游为 KAFKA 数据目的地的数据计算场景。 |
物理复制槽、WAL 保留与 Agent checkpoint 相关说明
一句话理解
物理复制槽是源库侧可选的 WAL 保留手段,用来降低 Agent 断线、停机或落后时所需 WAL 被过早清理的风险;它不是物理解析的必要条件,也不能替代 Agent 自己的 checkpoint、本地 WAL spool 和恢复状态。
Agent 自行解析原始 WAL、页、目录和事务,不依赖
pgoutput、wal2json或每任务逻辑复制槽。说明:原生 PostgreSQL 物理取流命令允许省略
SLOT,例如START_REPLICATION PHYSICAL <LSN> TIMELINE <timeline>或START_REPLICATION SLOT <slot_name> PHYSICAL <LSN> TIMELINE <timeline>。这些写法仅用于说明原生 PG 协议;GaussDB/openGauss、TDSQL、GBase8c 等商业内核须由对应客户端适配器生成命令,不能手工套用同一语法。
复制槽、本地 spool 与 checkpoint 的职责分工
| 组件 | 作用 | 不能替代什么 |
|---|---|---|
| 源库物理复制槽 | 在源库维护 WAL 保留进度。restart_lsn表示仍可能被消费者需要的最早 WAL 位置。 | 不保存 Agent 的页面底稿、历史结构、活动事务、outbox 或 Kafka 投递确认;不能当作任务消费 offset 或完整 Agent 恢复点。 |
| Agent 本地 WAL spool | 保存已接收并可靠落盘的原始 WAL,供本地连续重放。 | 不能接收 Agent 停机期间尚未传来的 WAL,不能代替源端保留。 |
| Agent checkpoint 与本地持久状态 | 保存源身份、timeline、精确记录起止位置、解析所需页和目录状态、未完成事务,以及输出与确认状态;分布式场景还保存各 DN 位置向量及协调状态。 | 不要求源库自动替 Agent 保留全部需要的 WAL。 |
| 源数据库自己的 CHECKPOINT | 数据库刷页及崩溃恢复所需,也是建立初始 WAL 恢复边界的证据之一。 | 不是 Agent 的解析与业务投递 checkpoint。 |
需要注意:pg_replication_slots 中物理槽的 confirmed_flush_lsn 为空,该字段属于逻辑槽;不能用逻辑槽字段判断物理 Agent 是否处理完成。
使用与不使用物理复制槽的取舍
| 对比项 | 不使用物理复制槽 | 使用物理复制槽 |
|---|---|---|
| 断线期间 WAL | 依赖源库日志保留窗口,或 Agent 可访问、可识别的归档;超出窗口可能缺失日志。 | 按槽进度保留仍需接收的 WAL,增强断线和落后后的续读保障,但仍受实际保留上限约束。 |
| 源库磁盘 | 没有该 Agent 的槽持续钉住旧 WAL;仍有正常 WAL、归档等空间开销。 | Agent 长期落后、停机或槽遗留时,可能持续占用 pg_wal。 |
| 运维 | 需要规划中断和追赶期间的日志覆盖范围。 | 还需管理槽的监控、保留上限、生命周期,以及数据库切换后的可用性。 |
| Agent 本地恢复 | 仍要保存 checkpoint、spool 和恢复依赖。 | 同样要保存;槽不会替 Agent 保存解析或投递状态。 |
| 能解决什么 | 不引入槽占用;适合日志保留窗口可控、断线时间可控的场景。 | 降低源库过早回收所需 WAL 的风险。 |
| 不能解决什么 | 超出日志保留窗口后仍可能无法续读。 | 不能保证任意时长断线都能续传,不能替代本地状态,不能恢复已被回收的历史 WAL。 |
PostgreSQL 的 wal_keep_size、归档和复制槽都可参与日志保留,但保障方式不同。max_slot_wal_keep_size 可以限制槽造成的 WAL 保留量;达到限制后,所需日志仍可能被清理。因此不能同时承诺“磁盘严格有界”和“任意时长断线均可续传”。
如何选择
- 不使用复制槽:适用于源库日志保留窗口和归档可覆盖预期断线时长、运维可接受日志缺口风险的场景。必须监控日志保留覆盖范围。
- 使用复制槽:适用于希望增强断线、停机、落后后的续读保障的场景。必须同时监控槽状态、
restart_lsn、WAL 保留量和生命周期。 - 无论是否使用复制槽:Agent 都必须保存 checkpoint、本地 WAL spool 和恢复依赖。复制槽只影响源端 WAL 保留,不影响 Agent 本地解析与投递状态的完整性。
示例:Agent 在某位置停止后,源库继续产生 WAL。如果重启所需区间既不在本地 spool,也已不在源库或可读取归档中,即使 checkpoint 完整也不能续读。此时应保留恢复状态并报告日志缺口,不能静默跳到 latest。后来新建物理槽也不能恢复已经被回收的历史 WAL。
操作步骤
新建弹窗界面选择了 Gbase 8c 节点类型之后,显示 Gbase 8c 的基本信息配置模板:
- 版本:V5 3.0.0
- 部署模式:选择“分布式部署”或“集中部署”
- 服务器地址:
- 当部署模式为“分布式部署”时,输入Coordinator Node地址(例:123.207.123.213)。
- 当部署模式为“集中部署”时,输入服务器地址(例:123.207.123.213)。
- 端口:输入连接数据节点的端口值。
- 数据库:请输入数据库名称。
- 认证类型:选择认证类型。
- 口令认证:
- 用户名和密码:输入可访问该数据节点的用户名和密码。
- SSL认证:
- 当连接参数为“使用证书”,请选择证书签发机构。
- 当签发机构为“认证中心”时,请输入用户名称。
- 当签发机构为“自签发”时,请输入用户名称,选择认证模式,并上传 CA 证书、客户端证书、客户端密钥。
- 当连接参数为“NonValidatingFactory通道”时,请输入用户名称,用户密码。
- 当连接参数为“使用证书”,请选择证书签发机构。
- 口令认证:
数据类型
| Gbase8c的数据类型 | DataPipeline中展示的数据类型 |
|---|---|
| TINYINT | int1 |
| SMALLINT | int2 |
| SMALLSERIAL | |
| INTEGER | int4 |
| BINARY_INTEGER | |
| SERIAL | |
| BIGINT | int8 |
| BIGSERIAL | |
| NUMERIC | numeric |
| DECIMAL | |
| NUMBER | |
| REAL | float4 |
| FLOAT4 | |
| DOUBLE | float8 |
| FLOAT8 | |
| FLOAT | |
| BINARY_DOUBLE | |
| BOOLEAN | bool |
| CHAR(n) | bpchar |
| CHARACTER(n) | |
| NCHAR(n) | |
| VARCHAR(n) | varchar |
| CHARACTER VARYING(n) | |
| VARCHAR2(n) | |
| TEXT | text |
| BYTEA | bytea |
| DATE | timestamp |
| TIMESTAMP[(p)][WITHOUT TIME ZONE] | |
| TIME [(p)] [WITHOUTTIME ZONE] | time |
| TIME [(p)] [WITHTIME ZONE] | timetz |
| TIMESTAMP[(p)][WITH TIME ZONE] | timestamptz |
表类型
- 支持行存表、列存表
- 支持 REPLICATION、HASH、MODULO 三种表分布类型
- 支持分区表
视图
- 当Gbase8c 作为源时
- 选择“逻辑复制”读取方式时,不支持普通视图的同步
- 选择“JDBC”读取方式时,支持普通视图的同步
- 当Gbase8c 作为目的时
- 不支持普通视图的写入
索引
- 当Gbase8c 作为源时
- 不支持获取表中索引
- 当Gbase8c 作为目的地时
- 支持创建普通索引和唯一索引
- 支持单字段和复合索引
- 支持创建正序和倒叙索引
说明:由于适配的 Gbase8c V5 3.0.0 版本的列存表不支持创建主键,当Gbase8c 作为目的地且在写入配置中选择列存表时,如源端表有主键,需要在字段映射中,手动操作取消目的地的主键,否则会在创建表时报错
注意事项
- 当读取方式为逻辑复制方式时:
- 不支持 interval partition 表、不支持全局临时表的复制。
- 在分布键键值变更的场景下(极短时间内先进行删除再进行写入),如果新写入数据分布的 DN 节点与被删除数据分布的 DN 节点不一致,可能出现解析乱序情况,导致数据目的地出现以下现象:
- 数据加载策略为 merge:同步至目的地时丢失写入数据。
- 数据加载策略为 insert:
- 数据目的地存在主键或配置逻辑主键,数据写入目的地时由于主键冲突进入错误队列。
- 数据目的地无主键且未配置逻辑主键,不是消息队列类型节点时,数据写入目的地后出现重复数据。
- 数据目的地为消息队列类型节点,如 Kafka,同步至数据目的地时先记录写入操作再记录删除操作。
- 节点限制:
wal2json的实现机制,是开启了复制槽后,会定期的flush lsn ,通知数据库,这一批已经处理完了。这个时候,数据库会根据返回的信息,定期处理和回收日志,因此pg系的对于wal2json的同步方式,指定LSN的预期将很难确定,无法确认数据库回收了多少,举例,复制槽开始时是100,系统复制到了10000,这个时候可能日志回收被处理的是100-10000之间的一个值,然后如果指定了一个小于10000的数,如果启动时没有被回收则从该点继续读,如果回收了,则从最小的开始读,因此这个功能对于用户而言预期和实际有很大的偏差,对于该节点,只能提供暂停时进度,激活时间为起点,这两个起点设置,暂不支持指定起点的功能。