版本:v5.12
Vastbase
配置要求
在进行配置之前,请务必检查您的 Vastbase 数据节点是否符合平台要求,参考如下:
| 要求 | 详情 |
|---|---|
| 版本要求 | 支持:Vastbase G100 V2.2.10 版本 |
| 权限要求 | 1. JDBC 读取模式:pg_user 表的 SELECT 权限。 2. 逻辑复制读取模式:操作用户需要拥有 REPLICATION 权限,对 pg_user 表有 SELECT 权限,对源端业务数据库有 SELECT 权限。 |
| 其他要求 | 1. JDBC 读取模式: - 要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例: SequenceID),更新时间戳(例: UpdatedAt) 2. 逻辑复制读取模式 - 设置 GUC 参数 wal_level = logical。 - 设置 GUC 参数 enable_slot_log = on。 - 设置 GUC 参数 max_replication_slots >= 每个节点所需的(物理流复制槽数 + 备份槽数 + 逻辑复制槽数)。 - 以下场景请将表的 REPLICA IDENTITY 属性配置为 FULL。关于 REPLICA IDENTITY 属性说明请参考:https://www.postgresql.org/docs/16/sql-altertable.html#SQL-ALTERTABLE-REPLICA-IDENTITY。 无主键表。否则无法捕获到删除事件。建议对无主键表追加主键。 需要将删除事件在数据目的地转换为插入事件或更新事件。通常见于历史数据保留、审计等场景。 * 需要在数据目的地写入更新事件的更新前数据以及更新后数据。通常见于下游为KAFKA数据目的地的数据计算场景。 |
操作步骤
新建弹窗界面选择了 Vastbase 节点类型之后,显示 Vastbase 的基本信息配置模板:
- 版本:Vastbase G100 V2.2.10
- 服务器地址:输入服务器地址(例:123.207.123.213)。
- 端口号:输入连接数据节点的端口值。
- 数据库:请输入数据库名称。
- 认证类型:选择认证类型。
- 口令认证:
- 用户名和密码:输入可访问该数据节点的用户名和密码。
- SSL认证:
- 当连接参数为“使用证书”,请选择证书签发机构。
- 当签发机构为“认证中心”时,请输入用户名称。
- 当签发机构为“自签发”时,请输入用户名称,选择认证模式,并上传 CA 证书、客户端证书、客户端密钥。
- 当连接参数为“NonValidatingFactory通道”时,请输入用户名称,用户密码。
- 当连接参数为“使用证书”,请选择证书签发机构。
- 口令认证:
注意事项
- 当读取方式为逻辑复制方式时:
- 不支持 interval partition 表、不支持全局临时表的复制。
- 仅支持UTF-8 字符集
- 节点限制:
wal2json的实现机制,是开启了复制槽后,会定期的flush lsn ,通知数据库,这一批已经处理完了。这个时候,数据库会根据返回的信息,定期处理和回收日志,因此pg系的对于wal2json的同步方式,指定LSN的预期将很难确定,无法确认数据库回收了多少,举例,复制槽开始时是100,系统复制到了10000,这个时候可能日志回收被处理的是100-10000之间的一个值,然后如果指定了一个小于10000的数,如果启动时没有被回收则从该点继续读,如果回收了,则从最小的开始读,因此这个功能对于用户而言预期和实际有很大的偏差,对于该节点,只能提供暂停时进度,激活时间为起点,这两个起点设置,暂不支持指定起点的功能。