版本:v4.19
MogDB
配置要求
在进行配置之前,请务必检查您的 MogDB 数据节点是否符合平台要求,参考如下:
| 要求 | 详情 |
|---|---|
| 版本要求 | 数据节点支持MogDB版本5.0.x 1. 逻辑复制读取模式 2. JDBC 读取模式 3. JDBC写入模式 |
| 权限要求 | + 逻辑复制读取模式: - 设置GUC参数wal_level=logical。 - 设置GUC参数enable_slot_log=on。 - 设置GUC参数max_replication_slots>=每个节点所需的(物理流复制槽数+备份槽数+逻辑复制槽数)。 - 以下场景请将表的 REPLICA IDENTITY 属性配置为 FULL。关于 REPLICA IDENTITY 属性说明请参考:https://www.postgresql.org/docs/16/sql-altertable.html#SQL-ALTERTABLE-REPLICA-IDENTITY 。 无主键表。否则无法捕获到删除事件。建议对无主键表追加主键。 需要将删除事件在数据目的地转换为插入事件或更新事件。通常见于历史数据保留、审计等场景。 需要在数据目的地写入更新事件的更新前数据以及更新后数据。通常见于下游为KAFKA数据目的地的数据计算场景。 + JDBC读取模式: - 用户权限要求: pg_user表的 SELECT 权限 - 要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例: SequenceID),更新时间戳(例: UpdatedAt) + JDBC写入模式: - SELECT, CREATE TABLE, INSERT, UPSERT, DELETE, DROP, TRUNCATE |
| 其他要求 | 无 |
操作步骤
新建弹窗界面选择了MogDB节点类型之后,显示 MogDB 的基本信息配置模板:
连接配置:
- 名称:必须填写,50字符限制,是该数据源在 DataPipeline 的唯一标识,不允许重复
- 描述:选填
- 项目:必选,默认为「未分组」
- 类型:必选
- 版本:必选
- 时区:必选,默认是 +8:00,即东八区
- 服务器地址:填写MogDB 服务器的地址
- 端口号:填写端口号
- 数据库:必填需要指定数据库,因为每种数据库都有一个确定的兼容模型,因此需要指定到数据库级别
- 认证方式:必选,支持口令认证和SSL认证
- 连接参数:输入 MogDB JDBC 连接支持的所有连接参数
支持的数据类型
| 序号 | 字段类型 | 是否支持 |
|---|---|---|
| 1 | BIGINT(INT8) | 支持 |
| 2 | INTEGER(INT4) | 支持 |
| 3 | SMALLINT(INT2) | 支持 |
| 4 | TINYINT(INT1) | 支持 |
| 5 | BOOLEAN | 支持 |
| 6 | DECIMAL | 支持 |
| 7 | NUMBERIC | 支持 |
| 8 | DOUBLE | 支持 |
| 9 | FLOAT4 | 支持 |
| 10 | FLOAT8 | 支持 |
| 11 | CHAR | 支持 |
| 12 | VARCHAR | 支持 |
| 13 | NVARCHAR2 | 支持 |
| 14 | TEXT | 支持 |
| 15 | CLOB | 支持 |
| 16 | BYTEA | 支持 |
| 17 | MONEY | 支持 |
| 18 | RAW | 支持 |
| 19 | DATE | 支持 |
| 20 | TIMESTAMP | 支持 |
| 21 | TIMESTAMPTZ | 支持 |
| 22 | TIME | 支持 |
| 23 | TIMETZ | 支持 |
| 24 | SMALLDATETIME | 支持 |
| 25 | BIT | 支持 |
| 26 | VARBIT | 支持 |
| 27 | JSON | 支持 |
| 28 | JSONB | 支持 |
| 29 | XID | 支持 |
| 30 | XID32 | 支持 |
| 31 | NAME | 支持 |
| 32 | BINARY | 支持 |
| 33 | LONGTEXT | 支持 |
| 34 | LONGBLONB | 支持 |
| 35 | BFILE | 支持 |
| 36 | DATETIME | 支持 |
注意事项
- 当读取方式为逻辑复制方式时:
- 不支持 interval partition 表、不支持全局临时表的复制。
- 在分布键键值变更的场景下(极短时间内先进行删除再进行写入),如果新写入数据分布的 DN 节点与被删除数据分布的 DN 节点不一致,可能出现解析乱序情况,导致数据目的地出现以下现象:
- 数据加载策略为 merge:同步至目的地时丢失写入数据。
- 数据加载策略为 insert:
- 数据目的地存在主键或配置逻辑主键,数据写入目的地时由于主键冲突进入错误队列。
- 数据目的地无主键且未配置逻辑主键,不是消息队列类型节点时,数据写入目的地后出现重复数据。
- 数据目的地为消息队列类型节点,如 Kafka,同步至数据目的地时先记录写入操作再记录删除操作。
- 节点限制:
wal2json的实现机制,是开启了复制槽后,会定期的flush lsn ,通知数据库,这一批已经处理完了。这个时候,数据库会根据返回的信息,定期处理和回收日志,因此pg系的对于wal2json的同步方式,指定LSN的预期将很难确定,无法确认数据库回收了多少,举例,复制槽开始时是100,系统复制到了10000,这个时候可能日志回收被处理的是100-10000之间的一个值,然后如果指定了一个小于10000的数,如果启动时没有被回收则从该点继续读,如果回收了,则从最小的开始读,因此这个功能对于用户而言预期和实际有很大的偏差,对于该节点,只能提供暂停时进度,激活时间为起点,这两个起点设置,暂不支持指定起点的功能。