跳到主要内容
版本:v5.6

Vastbase

配置要求​

在进行配置之前,请务必检查您的 Vastbase 数据节点是否符合平台要求,参考如下:

要求详情
版本要求支持:Vastbase G100 V2.2.10 版本
权限要求1. JDBC 读取模式:pg_user 表的 SELECT 权限。
2. 逻辑复制读取模式:操作用户需要拥有 REPLICATION 权限,对 pg_user 表有 SELECT 权限,对源端业务数据库有 SELECT 权限。
其他要求1. JDBC 读取模式:
- 要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例: SequenceID),更新时间戳(例: UpdatedAt)
2. 逻辑复制读取模式
- 设置 GUC 参数 wal_level = logical。
- 设置 GUC 参数 enable_slot_log = on。
- 设置 GUC 参数 max_replication_slots >= 每个节点所需的(物理流复制槽数 + 备份槽数 + 逻辑复制槽数)。
- 以下场景请将表的 REPLICA IDENTITY 属性配置为 FULL。关于 REPLICA IDENTITY 属性说明请参考:https://www.postgresql.org/docs/16/sql-altertable.html#SQL-ALTERTABLE-REPLICA-IDENTITY。
无主键表。否则无法捕获到删除事件。建议对无主键表追加主键。
需要将删除事件在数据目的地转换为插入事件或更新事件。通常见于历史数据保留、审计等场景。
* 需要在数据目的地写入更新事件的更新前数据以及更新后数据。通常见于下游为KAFKA数据目的地的数据计算场景。

操作步骤​

新建弹窗界面选择了 Vastbase 节点类型之后,显示 Vastbase 的基本信息配置模板:

  • 版本:Vastbase G100 V2.2.10
  • 服务器地址:输入服务器地址(例:123.207.123.213)。
  • 端口号:输入连接数据节点的端口值。
  • 数据库:请输入数据库名称。
  • 认证类型:选择认证类型。
    • 口令认证:
      • 用户名和密码:输入可访问该数据节点的用户名和密码。
    • SSL认证:
      • 当连接参数为“使用证书”,请选择证书签发机构。
        • 当签发机构为“认证中心”时,请输入用户名称。
        • 当签发机构为“自签发”时,请输入用户名称,选择认证模式,并上传 CA 证书、客户端证书、客户端密钥。
      • 当连接参数为“NonValidatingFactory通道”时,请输入用户名称,用户密码。

注意事项​

  • 当读取方式为逻辑复制方式时:
    • 不支持 interval partition 表、不支持全局临时表的复制。
    • 仅支持UTF-8 字符集
  • 节点限制:

wal2json的实现机制,是开启了复制槽后,会定期的flush lsn ,通知数据库,这一批已经处理完了。这个时候,数据库会根据返回的信息,定期处理和回收日志,因此pg系的对于wal2json的同步方式,指定LSN的预期将很难确定,无法确认数据库回收了多少,举例,复制槽开始时是100,系统复制到了10000,这个时候可能日志回收被处理的是100-10000之间的一个值,然后如果指定了一个小于10000的数,如果启动时没有被回收则从该点继续读,如果回收了,则从最小的开始读,因此这个功能对于用户而言预期和实际有很大的偏差,对于该节点,只能提供暂停时进度,激活时间为起点,这两个起点设置,暂不支持指定起点的功能。