跳到主要内容
版本:v4.16

MogDB

配置要求​

在进行配置之前,请务必检查您的 MogDB 数据节点是否符合平台要求,参考如下:

要求详情
版本要求数据节点支持MogDB版本5.0.x
1. 逻辑复制读取模式
2. JDBC 读取模式
3. JDBC写入模式
权限要求+ 逻辑复制读取模式:
- 设置GUC参数wal_level=logical。
- 设置GUC参数enable_slot_log=on。
- 设置GUC参数max_replication_slots>=每个节点所需的(物理流复制槽数+备份槽数+逻辑复制槽数)。
- 以下场景请将表的 REPLICA IDENTITY 属性配置为 FULL。关于 REPLICA IDENTITY 属性说明请参考:https://www.postgresql.org/docs/16/sql-altertable.html#SQL-ALTERTABLE-REPLICA-IDENTITY 。
无主键表。否则无法捕获到删除事件。建议对无主键表追加主键。
需要将删除事件在数据目的地转换为插入事件或更新事件。通常见于历史数据保留、审计等场景。
需要在数据目的地写入更新事件的更新前数据以及更新后数据。通常见于下游为KAFKA数据目的地的数据计算场景。
+ JDBC读取模式:
- 用户权限要求:
pg_user表的 SELECT 权限
- 要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例: SequenceID),更新时间戳(例: UpdatedAt)
+ JDBC写入模式:
- SELECT, CREATE TABLE, INSERT, UPSERT, DELETE, DROP, TRUNCATE
其他要求无

操作步骤​

新建弹窗界面选择了MogDB节点类型之后,显示 MogDB 的基本信息配置模板:

连接配置:

  • 名称:必须填写,50字符限制,是该数据源在 DataPipeline 的唯一标识,不允许重复
  • 描述:选填
  • 项目:必选,默认为「未分组」
  • 类型:必选
  • 版本:必选
  • 时区:必选,默认是 +8:00,即东八区
  • 服务器地址:填写MogDB 服务器的地址
  • 端口号:填写端口号
  • 数据库:必填需要指定数据库,因为每种数据库都有一个确定的兼容模型,因此需要指定到数据库级别
  • 认证方式:必选,支持口令认证和SSL认证
  • 连接参数:输入 MogDB JDBC 连接支持的所有连接参数

支持的数据类型​

序号字段类型是否支持
1BIGINT(INT8)支持
2INTEGER(INT4)支持
3SMALLINT(INT2)支持
4TINYINT(INT1)支持
5BOOLEAN支持
6DECIMAL支持
7NUMBERIC支持
8DOUBLE支持
9FLOAT4支持
10FLOAT8支持
11CHAR支持
12VARCHAR支持
13NVARCHAR2支持
14TEXT支持
15CLOB支持
16BYTEA支持
17MONEY支持
18RAW支持
19DATE支持
20TIMESTAMP支持
21TIMESTAMPTZ支持
22TIME支持
23TIMETZ支持
24SMALLDATETIME支持
25BIT支持
26VARBIT支持
27JSON支持
28JSONB支持
29XID支持
30XID32支持
31NAME支持
32BINARY支持
33LONGTEXT支持
34LONGBLONB支持
35BFILE支持
36DATETIME支持

注意事项​

  • 当读取方式为逻辑复制方式时:
    • 不支持 interval partition 表、不支持全局临时表的复制。
    • 在分布键键值变更的场景下(极短时间内先进行删除再进行写入),如果新写入数据分布的 DN 节点与被删除数据分布的 DN 节点不一致,可能出现解析乱序情况,导致数据目的地出现以下现象:
      • 数据加载策略为 merge:同步至目的地时丢失写入数据。
      • 数据加载策略为 insert:
        • 数据目的地存在主键或配置逻辑主键,数据写入目的地时由于主键冲突进入错误队列。
        • 数据目的地无主键且未配置逻辑主键,不是消息队列类型节点时,数据写入目的地后出现重复数据。
        • 数据目的地为消息队列类型节点,如 Kafka,同步至数据目的地时先记录写入操作再记录删除操作。
  • 节点限制:

wal2json的实现机制,是开启了复制槽后,会定期的flush lsn ,通知数据库,这一批已经处理完了。这个时候,数据库会根据返回的信息,定期处理和回收日志,因此pg系的对于wal2json的同步方式,指定LSN的预期将很难确定,无法确认数据库回收了多少,举例,复制槽开始时是100,系统复制到了10000,这个时候可能日志回收被处理的是100-10000之间的一个值,然后如果指定了一个小于10000的数,如果启动时没有被回收则从该点继续读,如果回收了,则从最小的开始读,因此这个功能对于用户而言预期和实际有很大的偏差,对于该节点,只能提供暂停时进度,激活时间为起点,这两个起点设置,暂不支持指定起点的功能。