版本:v5.10
版本说明
- 逻辑复制模式、JDBC读取模式支持1.4、2.0、2.3、3.207、8.0 版本
- JDBC写入模式支持1.4、2.0、2.3、3.207、8.0 版本
2026-7月 Sprint 适配 GaussDB 8.0 版本说明:
我方当前内部测试环境未覆盖 GaussDB 8.0(内核版本 505)的分布式部署形态,因此暂未针对该特定版本完成分布式场景下的实时数据读取验证。如您的实际部署环境与此一致,请在使用相关功能前充分评估,并谨慎操作
兼容模式支持说明
| 版本 | A(Oracle模式) | B(MySQL模式) | C(Teredata模式) | PG(PostgreSQL模式) | M(MySQL M-Compatibility模式) |
|---|---|---|---|---|---|
| 3.x | ✔️ | ✔️ | ✔️ | ✔️ | ❌ |
| 8.x | ✔️ | ✔️ | ✔️ | ✔️ | ✔️ |
读取方式
| 读取方式 | 场景 | 权限要求 | 对应功能 |
|---|---|---|---|
| JDBC | 批量同步场景,全量初始化 | 1、赋予查询权限: GRANT SELECT ON dp_schema.dp_src_table to dp_heh; 2、赋予schema的使用权限: GRANT USAGE ON SCHEMA dp_schema TO dp_heh; 3、同步表的查询权限 GRANT SELECT ON dp_schema.dp_src_table to dp_heh; | 1、选表,读取数据 2、任务运行,读取权限 |
| 逻辑复制 | 增量监听场景 | 1、赋予复制权限(wal2json读取):ALTER USER dp_heh REPLICATION; 2、赋予schema的使用权限: GRANT USAGE ON SCHEMA dp_schema TO dp_heh; 3、同步表的查询权限 GRANT SELECT ON dp_schema.dp_src_table to dp_heh; | 1、增量读取 2、任务运行,读取权限 |
写入方式
| 写入方式 | 场景 | 权限要求 | 对应功能说明 |
|---|---|---|---|
| JDBC | 写入 | 1、赋予在该schema下创建表的权限: GRANT CREATE ON SCHEMA dp_schema TO dp_heh; 2、赋予schema的使用权限: GRANT USAGE ON SCHEMA dp_schema TO dp_heh; 3、赋予写入权限: GRANT SELECT,INSERT,UPDATE,DELETE ON dp_schema.dp_sink_table to dp_heh; 4、赋予清空权限: GRANT TRUNCATE ON dp_schema.dp_sink_table to dp_heh; 5、修改表的owner ALTER TABLE dp_schema.dp_sink_table OWNER TO dp_heh; | 1、创建表 2、任务运行,读取写入权限 3、选表,写入数据 4、清空目的地表 5、删除重建表,结构变化 |
节点特性
数据类型
| 官网支持类型 | DP定义的类型 | 作为源支持情况 | 作为目的地支持情况 | 备注 |
|---|---|---|---|---|
| BIGSERIAL | BIGSERIAL | ✔️ | ❌ | 建表成功后,数据中显示的数据类型为INT8 |
| SERIAL | SERIAL | ✔️ | ❌ | 建表成功后,数据中显示的数据类型为INT4 |
| SMALLSERIAL | SMALLSERIAL | ✔️ | ❌ | 建表成功后,数据中显示的数据类型为INT2 |
| TINYINT | INT1 | ✔️ | ✔️ | |
| SMALLINT SMALLSERIAL | INT2 | ✔️ | ✔️ | |
| INTEGER BINARY_INTEGER SERIAL | INT4 | ✔️ | ✔️ | |
| BIGINT BIGSERIAL | INT8 | ✔️ | ✔️ | |
| MONEY | MONEY | ✔️ | ✔️ | |
| bit(n) | BIT | ✔️ | ✔️ | |
| BOOLEAN | BOOL | ✔️ | ✔️ | |
| CHAR NCHAR CHARACTER | BPCHAR | ✔️ | ✔️ | |
| NCHAR | NCHAR | ✔️ | ❌ | 建表后,数据中显示的数据类型为BPCHAR |
| VARCHAR2 VARCHAR CHARACTER VARYING | VARCHAR | ✔️ | ✔️ | |
| NVARCHAR2 | NVARCHAR2 | ✔️ | ✔️ | |
| CHARACTER | ✔️ | ❌ | 建表后,数据中显示的数据类型为VARCHAR | |
| TEXT | TEXT | ✔️ | ✔️ | |
| _TEXT | ✔️ | ❌ | ||
| CLOB | CLOB | ✔️ | ✔️ | |
| BLOB | BLOB | ✔️ | ✔️ | |
| RAW | RAW | ✔️ | ❌ | |
| BYTEA | BYTEA | ✔️ | ✔️ | |
| DATE | DATE | ✔️ | ✔️ | |
| TIME [(p)] [WITHOUT TIME ZONE] | TIME | ✔️ | ✔️ | |
| TIME [(p)] [WITH TIME ZONE] | TIMETZ | ✔️ | ✔️ | |
| TIMESTAMP[(p)] [WITHOUT TIME ZONE] | TIMESTAMP | ✔️ | ✔️ | |
| TIMESTAMP[(p)][WITH TIME ZONE] | TIMESTAMPTZ | ✔️ | ✔️ | |
| SMALLDATETIME | SMALLDATETIME | ✔️ | ✔️ | |
| INTERVAL DAY (l) TO SECOND (p) INTERVAL[FIELDS][(p)] | INTERVAL | ✔️ | ❌ | |
| RELTIME | RELTIME | ✔️ | ❌ | |
| abstime | ABSTIME | ✔️ | ❌ | |
| point | POINT | ✔️ | ❌ | |
| lseg | LSEG | ✔️ | ❌ | |
| box | BOX | ✔️ | ❌ | |
| path | PATH | ✔️ | ❌ | |
| polygon | POLYGON | ✔️ | ❌ | |
| circle | CIRCLE | ✔️ | ❌ | |
| cidr | CIDR | ✔️ | ❌ | |
| inet | INET | ✔️ | ❌ | |
| macaddr | MACADDR | ✔️ | ❌ | |
| bit varying(n) | VARBIT | ✔️ | ❌ | |
| TXID_SNAPSHOT | ✔️ | ❌ | ||
| UNKNOWN | ✔️ | ❌ | ||
| TSVECTOR | ✔️ | ❌ | ||
| TSQUERY | ✔️ | ❌ | ||
| uuid | UUID | ✔️ | ❌ | |
| json | JSON | ✔️ | ❌ | |
| jsonb | JSONB | ✔️ | ❌ | |
| HLL(HyperLoglog) | HLL | ✔️ | ❌ | |
| int4range | INT4RANGE | ✔️ | ❌ | |
| int8range | INT8RANGE | ✔️ | ❌ | |
| numrange | NUMRANGE | ✔️ | ❌ | |
| tsrange | TSRANGE | ✔️ | ❌ | |
| tstzrange | TSTZRANGE | ✔️ | ❌ | |
| daterange | DATERANGE | ✔️ | ❌ | |
| OID | ✔️ | ❌ | ||
| CID | ✔️ | ❌ | ||
| XID | ✔️ | ❌ | ||
| TID | ✔️ | ❌ | ||
| XML | XML | ✔️ | ❌ | |
| REFCURSOR | ✔️ | ❌ | ||
| REGCONFIG | ✔️ | ❌ | ||
| REGDICTIONARY | ✔️ | ❌ | ||
| REGOPER | ✔️ | ❌ | ||
| REGOPERATOR | ✔️ | ❌ | ||
| REGPROC | ✔️ | ❌ | ||
| REGPROCEDURE | ✔️ | ❌ | ||
| REGCLASS | ✔️ | ❌ | ||
| REGTYPE | ✔️ | ❌ | ||
| NUMBER[(p[,s])] NUMERIC[(p[,s])] DECIMAL[(p[,s])] | NUMERIC | ✔️ | ✔️ | |
| DEC | ✔️ | ❌ | ||
| FLOAT4 REAL FLOAT | FLOAT4 | ✔️ | ✔️ | |
| BINARY_DOUBLE DOUBLE PRECISION FLOAT8 | FLOAT8 | ✔️ | ✔️ | |
| NAME | ✔️ | ❌ | ||
| HASH16 | ✔️ | ❌ | ||
| HASH32 | ✔️ | ❌ | ||
| OIDVECTOR | ✔️ | ❌ | ||
| SMGR | ✔️ | ❌ | ||
| GTSVECTOR | ❌ | |||
| INT2VECTOR | ✔️ | ❌ | ||
| TINTERVAL | ✔️ | ❌ | ||
| aclitem | ACLITEM | ✔️ | ❌ |
DML
读取
| 读取模式 | DML识别 | 捕获信息 | 限制 |
|---|---|---|---|
| JDBC | INSERT | 源端读取支持的所有字段类型 | 【限制】不支持列筛选 |
| 逻辑复制 | INSERT | 源端读取支持的所有字段类型 | 【限制】1、不支持列筛选 【限制】2、无主键的表,捕获不到D类型的记录;U类型捕获只有after有值,before都是null(有些时候U也捕获不到,是复制槽的限制,可以消费复制槽验证) 想要捕获全部信息,需要REPLICA IDENTITY属性设置为FULL(同样适用于有主键表想捕获全部列) -- 查级别,查出来的可能是缩写,只有首字母 SELECT n.nspname,c.relname,relreplident FROM pg_catalog.pg_class c LEFT JOIN pg_catalog.pg_namespace n ON c.relnamespace=n.oid where c.relname = 'heh_0714' -- 修改级别 ALTER TABLE heh_0714 REPLICA IDENTITY FULL ![]() |
| UPDATE | before:主键(可通过配置捕获全部字段) after:支持的所有字段 | ||
| DELETE | before:主键(可通过配置捕获全部字段) after:null |
写入
| 写入策略 | 写入SQL语法 | 限制 |
|---|---|---|
| INSERT | INSERT INTO …… VALUES …… | |
| UPDATE | UPDATE…… SET…… WHERE…… | 需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。 【限制】当源端采集不完整,目的主键列 源端采集不到,会存在最终数据不一致情况,因为拿null去更新数据(不是因为真实值为null,是因为采集不完整) 当更新条件中存在值为null时,会做特殊处理。 更新条件的字段为空:update 表名 set 字段 value where 更新条件 is null; 更新条件的字段为空:update 表名 set 字段 value where 更新条件 in value; 示例: plain UPDATE "db1"."s1"."t1" SET "col1"=?,"col2"=? WHERE "id1" IS NULL AND "id"=? |
| DELETE | set enable_indexscan = on; set enable_seqscan = off; DELETE FROM…… WHERE …… | 需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。 原因同上: 当更新条件中存在值为null时,会做特殊处理。 1. 更新条件的字段为空:delete from 表名 where 更新条件 is null; 2. 更新条件的字段不为空:delete from 表名 where 更新条件的字段 in (value); plain DELETE FROM "db1"."s1"."t1" WHERE "id1" IS NULL AND ("id") in (('1')) |
| MERGE | 部分更新,与update一致 | 需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。 ON DUPLICATE KEY UPDATE 无法更新主键或唯一索引 |
| 主键发生变更:delete+insert | ||
| 主键未发生变更:INSERT INTO …… (……) VALUES…… ON DUPLICATE KEY UPDATE …… | ||
| IGNORE | 忽略,不做写入 | 忽略,不做写入 |
DDL
读取
由于解析是通过逻辑复制,而逻辑复制中没有DDL信息,因此,实际上DDL是靠结构比对捕获的,因此,需要增量数据触发diff。
| DDL类型 | 读取方式 | 是否支持获取 | 上游触发场景 | 支持处理的内容 |
|---|---|---|---|---|
| add column | 逻辑复制 / JDBC | ✔️ | 1. 源端加列 2. 源端rename列–rename后的列识别为新增列 【限制】不支持移位DDL,即不支持after,first等 | 名称、类型、精度、标度、默认值、注释、not null |
| drop column | 逻辑复制 / JDBC | ✔️ | 1. 源端加列 2. 源端rename列–rename后的列识别为新增列 | |
| modify column | 逻辑复制 / JDBC | ✔️ | 源端修改类型,精度,标度 | 类型、精度、标度、默认值、注释、not null |
| rename column | 逻辑复制 / JDBC | ❌ | 【限制】不支持,会识别为删除列+新增列(风险❗️) | |
| drop table | 逻辑复制 | ❌ | 不支持 | |
| JDBC | ✔️ | 源表被删除或者源表被rename 【说明】当JDBC读取的时候,会检测到待同步的表不存在。 | ||
| truncate table | 逻辑复制 / JDBC | ❌ | 不支持 | |
| create table | 逻辑复制 | ❌ | 不支持 | |
| JDBC | ❌ | 当前不支持 | ||
| rename table | 逻辑复制 | ❌ | 不支持 | |
| JDBC | ✔️ | 不支持,会被识别为drop table |
写入
| DDL类型 | 是否支持 | 限制 |
|---|---|---|
| truncate table | ✔️ | |
| drop table | ✔️ | |
| truncate partition | ❌ | |
| drop partition | ❌ | |
| add column | ✔️ | 【限制】不支持移位DDL,即不支持after,first等 |
| drop column | ✔️ | |
| modify column | ✔️ | 【限制】1、其他未支持的属性,结构变化后映射可能会有diff 【限制】2、修改列的数据类型,并且新类型与旧类型不兼容时,需要使用 USING 子句,此种场景暂不支持 |
| rename column | ✔️ | 【限制】其他未支持的属性,结构变化后映射可能会有diff |
索引
当前支持在创建目的表时,可以创建索引,目前支持的索引类型及配置
| 索引类型 | 索引存储方式 | 排序 |
|---|---|---|
| 普通索引 | Hash 、Btree | 支持配置 |
| 唯一索引 | Btree | 支持配置 |
| 主键索引 | Btree | 不支持配置,默认为升序 |
添加GaussDB 数据节点的操作步骤
新建弹窗界面选择了 GaussDB 节点类型之后,显示 GaussDB 的基本信息配置模板:
- 版本:1.4、2.0、2.3
- 部署模式:选择“分布式部署”或“集中部署”
- 服务器地址:
- 当部署模式为“分布式部署”时,输入Coordinator Node地址(例:123.207.123.213)。
- 当部署模式为“集中部署”时,输入服务器地址(例:123.207.123.213)。
- 端口:输入连接数据节点的端口值。
- 数据库:请输入数据库名称。
- 认证类型:选择认证类型。
- 口令认证:
- 用户名和密码:输入可访问该数据节点的用户名和密码。
- SSL认证:
- 当连接参数为“使用证书”,请选择证书签发机构。
- 当签发机构为“认证中心”时,请输入用户名称。
- 当签发机构为“自签发”时,请输入用户名称,选择认证模式,并上传 CA 证书、客户端证书、客户端密钥。
- 当连接参数为“NonValidatingFactory通道”时,请输入用户名称,用户密码。
- 当连接参数为“使用证书”,请选择证书签发机构。
- 口令认证:
注意事项
- 当读取方式为逻辑复制方式时:
- 不支持 interval partition 表、不支持全局临时表的复制。
- 在分布键键值变更的场景下(极短时间内先进行删除再进行写入),如果新写入数据分布的 DN 节点与被删除数据分布的 DN 节点不一致,可能出现解析乱序情况,导致数据目的地出现以下现象:
- 数据加载策略为 merge:同步至目的地时丢失写入数据。
- 数据加载策略为 insert:
- 数据目的地存在主键或配置逻辑主键,数据写入目的地时由于主键冲突进入错误队列。
- 数据目的地无主键且未配置逻辑主键,不是消息队列类型节点时,数据写入目的地后出现重复数据。
- 数据目的地为消息队列类型节点,如 Kafka,同步至数据目的地时先记录写入操作再记录删除操作。
- 节点限制:
wal2json的实现机制,是开启了复制槽后,会定期的flush lsn ,通知数据库,这一批已经处理完了。这个时候,数据库会根据返回的信息,定期处理和回收日志,因此pg系的对于wal2json的同步方式,指定LSN的预期将很难确定,无法确认数据库回收了多少,举例,复制槽开始时是100,系统复制到了10000,这个时候可能日志回收被处理的是100-10000之间的一个值,然后如果指定了一个小于10000的数,如果启动时没有被回收则从该点继续读,如果回收了,则从最小的开始读,因此这个功能对于用户而言预期和实际有很大的偏差,对于该节点,只能提供暂停时进度,激活时间为起点,这两个起点设置,暂不支持指定起点的功能。
