跳到主要内容
版本:v5.2

版本说明

  1. 逻辑复制模式、JDBC读取模式支持1.4、2.0、2.3、3.207 版本
  2. JDBC写入模式支持1.4、2.0、2.3、3.207 版本

读取方式

读取方式场景权限要求对应功能
JDBC批量同步场景,全量初始化1、赋予查询权限:
GRANT SELECT ON dp_schema.dp_src_table to dp_heh;
2、赋予schema的使用权限:
GRANT USAGE ON SCHEMA dp_schema TO dp_heh;
3、同步表的查询权限
GRANT SELECT ON dp_schema.dp_src_table to dp_heh;
1、选表,读取数据
2、任务运行,读取权限
逻辑复制增量监听场景1、赋予复制权限(wal2json读取):ALTER USER dp_heh REPLICATION;
2、赋予schema的使用权限:
GRANT USAGE ON SCHEMA dp_schema TO dp_heh;
3、同步表的查询权限
GRANT SELECT ON dp_schema.dp_src_table to dp_heh;
1、增量读取
2、任务运行,读取权限

写入方式

写入方式场景权限要求对应功能说明
JDBC写入1、赋予在该schema下创建表的权限:
GRANT CREATE ON SCHEMA dp_schema TO dp_heh;
2、赋予schema的使用权限:
GRANT USAGE ON SCHEMA dp_schema TO dp_heh;
3、赋予写入权限:
GRANT SELECT,INSERT,UPDATE,DELETE ON dp_schema.dp_sink_table to dp_heh;
4、赋予清空权限: GRANT TRUNCATE ON dp_schema.dp_sink_table to dp_heh;
5、修改表的owner
ALTER TABLE dp_schema.dp_sink_table OWNER TO dp_heh;
1、创建表
2、任务运行,读取写入权限
3、选表,写入数据
4、清空目的地表
5、删除重建表,结构变化

节点特性

数据类型​

官网支持类型DP定义的类型作为源支持情况作为目的地支持情况备注
BIGSERIALBIGSERIAL✔️❌建表成功后,数据中显示的数据类型为INT8
SERIALSERIAL✔️❌建表成功后,数据中显示的数据类型为INT4
SMALLSERIALSMALLSERIAL✔️❌建表成功后,数据中显示的数据类型为INT2
TINYINTINT1✔️✔️
SMALLINT
SMALLSERIAL
INT2✔️✔️
INTEGER
BINARY_INTEGER
SERIAL
INT4✔️✔️
BIGINT
BIGSERIAL
INT8✔️✔️
MONEYMONEY✔️✔️
bit(n)BIT✔️✔️
BOOLEANBOOL✔️✔️
CHAR
NCHAR
CHARACTER
BPCHAR✔️✔️
NCHARNCHAR✔️❌建表后,数据中显示的数据类型为BPCHAR
VARCHAR2
VARCHAR
CHARACTER VARYING
VARCHAR✔️✔️
NVARCHAR2NVARCHAR2✔️✔️
CHARACTER✔️❌建表后,数据中显示的数据类型为VARCHAR
TEXTTEXT✔️✔️
_TEXT✔️❌
CLOBCLOB✔️✔️
BLOBBLOB✔️✔️
RAWRAW✔️❌
BYTEABYTEA✔️✔️
DATEDATE✔️✔️
TIME [(p)] [WITHOUT TIME ZONE]TIME✔️✔️
TIME [(p)] [WITH TIME ZONE]TIMETZ✔️✔️
TIMESTAMP[(p)] [WITHOUT TIME ZONE]TIMESTAMP✔️✔️
TIMESTAMP[(p)][WITH TIME ZONE]TIMESTAMPTZ✔️✔️
SMALLDATETIMESMALLDATETIME✔️✔️
INTERVAL DAY (l) TO SECOND (p)
INTERVAL[FIELDS][(p)]
INTERVAL✔️❌
RELTIMERELTIME✔️❌
abstimeABSTIME✔️❌
pointPOINT✔️❌
lsegLSEG✔️❌
boxBOX✔️❌
pathPATH✔️❌
polygonPOLYGON✔️❌
circleCIRCLE✔️❌
cidrCIDR✔️❌
inetINET✔️❌
macaddrMACADDR✔️❌
bit varying(n)VARBIT✔️❌
TXID_SNAPSHOT✔️❌
UNKNOWN✔️❌
TSVECTOR✔️❌
TSQUERY✔️❌
uuidUUID✔️❌
jsonJSON✔️❌
jsonbJSONB✔️❌
HLL(HyperLoglog)HLL✔️❌
int4rangeINT4RANGE✔️❌
int8rangeINT8RANGE✔️❌
numrangeNUMRANGE✔️❌
tsrangeTSRANGE✔️❌
tstzrangeTSTZRANGE✔️❌
daterangeDATERANGE✔️❌
OID✔️❌
CID✔️❌
XID✔️❌
TID✔️❌
XMLXML✔️❌
REFCURSOR✔️❌
REGCONFIG✔️❌
REGDICTIONARY✔️❌
REGOPER✔️❌
REGOPERATOR✔️❌
REGPROC✔️❌
REGPROCEDURE✔️❌
REGCLASS✔️❌
REGTYPE✔️❌
NUMBER[(p[,s])]
NUMERIC[(p[,s])]
DECIMAL[(p[,s])]
NUMERIC✔️✔️
DEC✔️❌
FLOAT4
REAL
FLOAT
FLOAT4✔️✔️
BINARY_DOUBLE
DOUBLE PRECISION
FLOAT8
FLOAT8✔️✔️
NAME✔️❌
HASH16✔️❌
HASH32✔️❌
OIDVECTOR✔️❌
SMGR✔️❌
GTSVECTOR❌
INT2VECTOR✔️❌
TINTERVAL✔️❌
aclitemACLITEM✔️❌

DML​

读取​

读取模式DML识别捕获信息限制
JDBCINSERT源端读取支持的所有字段类型【限制】不支持列筛选
逻辑复制INSERT源端读取支持的所有字段类型【限制】1、不支持列筛选
【限制】2、无主键的表,捕获不到D类型的记录;U类型捕获只有after有值,before都是null(有些时候U也捕获不到,是复制槽的限制,可以消费复制槽验证)
想要捕获全部信息,需要REPLICA IDENTITY属性设置为FULL(同样适用于有主键表想捕获全部列)
-- 查级别,查出来的可能是缩写,只有首字母
SELECT n.nspname,c.relname,relreplident FROM pg_catalog.pg_class c LEFT JOIN pg_catalog.pg_namespace n ON c.relnamespace=n.oid where c.relname = 'heh_0714'
-- 修改级别
ALTER TABLE heh_0714 REPLICA IDENTITY FULL
UPDATEbefore:主键(可通过配置捕获全部字段)
after:支持的所有字段
DELETEbefore:主键(可通过配置捕获全部字段)
after:null

写入​

写入策略写入SQL语法限制
INSERTINSERT INTO …… VALUES ……
UPDATEUPDATE…… SET…… WHERE……需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
【限制】当源端采集不完整,目的主键列 源端采集不到,会存在最终数据不一致情况,因为拿null去更新数据(不是因为真实值为null,是因为采集不完整)
当更新条件中存在值为null时,会做特殊处理。
更新条件的字段为空:update 表名 set 字段 value where 更新条件 is null;
更新条件的字段为空:update 表名 set 字段 value where 更新条件 in value;
示例:
plain UPDATE "db1"."s1"."t1" SET "col1"=?,"col2"=? WHERE "id1" IS NULL AND "id"=?
DELETEset enable_indexscan = on;
set enable_seqscan = off;
DELETE FROM…… WHERE ……
需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
原因同上:
当更新条件中存在值为null时,会做特殊处理。
1. 更新条件的字段为空:delete from 表名 where 更新条件 is null;
2. 更新条件的字段不为空:delete from 表名 where 更新条件的字段 in (value);
plain DELETE FROM "db1"."s1"."t1" WHERE "id1" IS NULL AND ("id") in (('1'))
MERGE部分更新,与update一致需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
ON DUPLICATE KEY UPDATE 无法更新主键或唯一索引
主键发生变更:delete+insert
主键未发生变更:INSERT INTO …… (……) VALUES…… ON DUPLICATE KEY UPDATE ……
IGNORE忽略,不做写入忽略,不做写入

DDL​

读取​

由于解析是通过逻辑复制,而逻辑复制中没有DDL信息,因此,实际上DDL是靠结构比对捕获的,因此,需要增量数据触发diff。

DDL类型读取方式是否支持获取上游触发场景支持处理的内容
add column逻辑复制 / JDBC✔️1. 源端加列
2. 源端rename列–rename后的列识别为新增列
【限制】不支持移位DDL,即不支持after,first等
名称、类型、精度、标度、默认值、注释、not null
drop column逻辑复制 / JDBC✔️1. 源端加列
2. 源端rename列–rename后的列识别为新增列
modify column逻辑复制 / JDBC✔️源端修改类型,精度,标度类型、精度、标度、默认值、注释、not null
rename column逻辑复制 / JDBC❌【限制】不支持,会识别为删除列+新增列(风险❗️)
drop table逻辑复制❌不支持
JDBC✔️源表被删除或者源表被rename
【说明】当JDBC读取的时候,会检测到待同步的表不存在。
truncate table逻辑复制 / JDBC❌不支持
create table逻辑复制❌不支持
JDBC❌当前不支持
rename table逻辑复制❌不支持
JDBC✔️不支持,会被识别为drop table

写入​

DDL类型是否支持限制
truncate table✔️
drop table✔️
truncate partition❌
drop partition❌
add column✔️【限制】不支持移位DDL,即不支持after,first等
drop column✔️
modify column✔️【限制】1、其他未支持的属性,结构变化后映射可能会有diff
【限制】2、修改列的数据类型,并且新类型与旧类型不兼容时,需要使用 USING 子句,此种场景暂不支持
rename column✔️【限制】其他未支持的属性,结构变化后映射可能会有diff

索引​

当前支持在创建目的表时,可以创建索引,目前支持的索引类型及配置

索引类型索引存储方式排序
普通索引Hash 、Btree支持配置
唯一索引Btree支持配置
主键索引Btree不支持配置,默认为升序

添加GaussDB 数据节点的操作步骤

新建弹窗界面选择了 GaussDB 节点类型之后,显示 GaussDB 的基本信息配置模板:

  • 版本:1.4、2.0、2.3
  • 部署模式:选择“分布式部署”或“集中部署”
  • 服务器地址:
    • 当部署模式为“分布式部署”时,输入Coordinator Node地址(例:123.207.123.213)。
    • 当部署模式为“集中部署”时,输入服务器地址(例:123.207.123.213)。
  • 端口:输入连接数据节点的端口值。
  • 数据库:请输入数据库名称。
  • 认证类型:选择认证类型。
    • 口令认证:
      • 用户名和密码:输入可访问该数据节点的用户名和密码。
    • SSL认证:
      • 当连接参数为“使用证书”,请选择证书签发机构。
        • 当签发机构为“认证中心”时,请输入用户名称。
        • 当签发机构为“自签发”时,请输入用户名称,选择认证模式,并上传 CA 证书、客户端证书、客户端密钥。
      • 当连接参数为“NonValidatingFactory通道”时,请输入用户名称,用户密码。

注意事项​

  • 当读取方式为逻辑复制方式时:
    • 不支持 interval partition 表、不支持全局临时表的复制。
    • 在分布键键值变更的场景下(极短时间内先进行删除再进行写入),如果新写入数据分布的 DN 节点与被删除数据分布的 DN 节点不一致,可能出现解析乱序情况,导致数据目的地出现以下现象:
      • 数据加载策略为 merge:同步至目的地时丢失写入数据。
      • 数据加载策略为 insert:
        • 数据目的地存在主键或配置逻辑主键,数据写入目的地时由于主键冲突进入错误队列。
        • 数据目的地无主键且未配置逻辑主键,不是消息队列类型节点时,数据写入目的地后出现重复数据。
        • 数据目的地为消息队列类型节点,如 Kafka,同步至数据目的地时先记录写入操作再记录删除操作。
  • 节点限制:

wal2json的实现机制,是开启了复制槽后,会定期的flush lsn ,通知数据库,这一批已经处理完了。这个时候,数据库会根据返回的信息,定期处理和回收日志,因此pg系的对于wal2json的同步方式,指定LSN的预期将很难确定,无法确认数据库回收了多少,举例,复制槽开始时是100,系统复制到了10000,这个时候可能日志回收被处理的是100-10000之间的一个值,然后如果指定了一个小于10000的数,如果启动时没有被回收则从该点继续读,如果回收了,则从最小的开始读,因此这个功能对于用户而言预期和实际有很大的偏差,对于该节点,只能提供暂停时进度,激活时间为起点,这两个起点设置,暂不支持指定起点的功能。