跳到主要内容
版本:v5.10

版本说明

支持TDSQL PostgreSQL的版本如下:

  1. 数据源节点 JDBC 模式支持 5.21.8 版本
  2. 数据源节点 wal2json 模式支持 5.21.8 版本
  3. 数据源节点 pgoutput 模式支持 5.21.8 版本
  4. 目的地节点 JDBC 模式支持 5.21.8 版本

约束及限制

  1. 模式 _int2 类型暂不支持读取
  2. wal2json 模式不支持同步视图
  3. 实时同步时,无主键的表,捕获不到D类型的记录;U类型捕获只有after有值,before都是null
  4. 当源端采集不完整,目的主键列 源端采集不到,会存在最终数据不一致情况,因为拿null去更新数据(不是因为真实值为null,是因为采集不完整)当更新条件中存在值为null时,会做特殊处理
  5. 实时同步时,增量delete/update需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键
  6. JDBC模式下,增量的rename column操作会被拆解为drop column & add column

读取方式

Datapipeline 读取 TDSQL PostgreSQL 数据库支持三种读取方式:JDBC 、wal2json 和pgoutput

JDBC读取方式​

  1. 支持场景:增量同步、全量同步

权限要求​

  1. 赋予查询权限:

GRANT SELECT ON schema_name.table_name TO dp_user;

  1. 赋予schema的使用权限:

GRANT USAGE ON SCHEMA public TO dp_user;

wal2json读取方式​

注意:PostgreSQL - wal2json 插件需满足实时同步

  1. 支持场景:增量同步、全量同步

权限要求​

  1. 用户角色要求:需 PostgreSQL replication 角色、PostgreSQL login 角色
  2. 同步表权限:需 select / update 权限

pgoutput读取方式​

注意:PostgreSQL - pgoutput 插件需满足实时同步

  1. 支持场景:增量同步、全量同步

权限要求​

  1. 用户角色要求:需 PostgreSQL replication 角色、PostgreSQL login 角色
  2. 同步表权限:需 select / update 权限、publication的创建权限、表的owner权限、schema的使用权限

写入方式

JDBC写入方式​

权限要求​

  1. 赋予在该schema下创建表的权限(创建表):

GRANT CREATE ON SCHEMA schema_name TO dp_user;

  1. 赋予schema的使用权限(任务运行,读取写入权限):

GRANT USAGE ON SCHEMA schema_name TO dp_user;

GRANT SELECT ON schema_name.table_name TO dp_user;

  1. 赋予写入权限(表的增删改查权限):

GRANT SELECT,INSERT,UPDATE,DELETE ON schema_name.table_name TO dp_user;

  1. 赋予清空权限(清空目的地表):\ GRANT TRUNCATE ON schema_name.table_name TO dp_user;
  2. 修改表的owner(删除重建表,结构变化)

ALTER TABLE schema_name.table_name OWNER TO dp_user; -- 成为 table 的 OWNER 后,可以拥有 DROP table 的权限。当使用 DataPipeline 的“同步前重建表”的功能时需要此权限

节点特性

数据类型​

源支持类型​

序号官网支持类型DP定义的类型是否支持pgoutput是否支持
1bigserialBIGSERIAL✔️✔️
2smallint❌❌
3bigintINT8❌✔️
4decimal❌❌
5double precision❌❌
6smallserial❌❌
7serial❌❌
8int2INT2✔️✔️
9int2vectorINT2VECTOR✔️✔️
10integerINT4✔️✔️
11int4rangeINT4RANGE✔️✔️
12int8INT8✔️✔️
13int8rangeINT8RANGE✔️✔️
14moneyMONEY✔️✔️
15nameNAME✔️✔️
16numeric [ (_p_, _s_) ]NUMERIC(p, s)✔️✔️
17numrangeNUMRANGE✔️✔️
18realREAL✔️✔️
19NUMBER(兼容oracle)❌
20FLOAT[(p)](兼容oracle)❌
21float4FLOAT4✔️✔️
22float8FLOAT8✔️✔️
23dateDATE✔️✔️
24daterangeDATERANGE✔️✔️
25time [ (_p_) ] [ without time zone ]TIME✔️✔️
26timestamp [ (_p_) ] [ without time zone ]TIMESTAMP✔️✔️
27time [ (_p_) ] with time zoneTIMETZ✔️
28timestamp [ (_p_) ] with time zoneTIMESTAMPTZ✔️
29timestampltzTIMESTAMPLTZ✔️
30tintervalTINTERVAL✔️✔️
31interval [ _fields_] [ (_p_) ]INTERVAL✔️✔️
32INTERVAL YEAR [(year_precision)] TO MONTH(兼容oracle)❌
33INTERVAL DAY [(day_precision)] TO SECOND [(fractional_seconds_precision)](兼容oracle)❌
34uuidUUID✔️✔️
35textTEXT✔️✔️
36varchar(n)VARCHAR(p)✔️✔️
37xmlXML✔️✔️
38bit [ (_n_) ]BIT✔️✔️
39booleanBOOL✔️✔️
40byteaBYTEA✔️✔️
41bpcharBPCHAR✔️
42bit varying [ (_n_) ]VARBIT✔️✔️
43jsonJSON✔️✔️
44jsonbJSONB✔️✔️
45lineLINE✔️✔️
46lsegLSEG✔️✔️
47oidOID✔️✔️
48oidvectorOIDVECTOR✔️✔️
49pathPATH✔️✔️
50pg_lsnPG_LSN✔️✔️
51pg_node_treePG_NODE_TREE✔️✔️
52pointPOINT✔️✔️
53polygonPOLYGON✔️✔️
54refcursorREFCURSOR✔️✔️
55regclassREGCLASS✔️✔️
56regconfigREGCONFIG✔️✔️
57regdictionaryREGDICTIONARY✔️✔️
58regnamespaceREGNAMESPACE✔️✔️
59regoperREGOPER✔️✔️
60macaddrMACADDR✔️✔️
61regoperatorREGOPERATOR✔️✔️
62regprocREGPROC✔️✔️
63regprocedureREGPROCEDURE✔️✔️
64regroleREGROLE✔️✔️
65regtypeREGTYPE✔️✔️
66realtimeRELTIME✔️✔️
67smgrSMGR✔️✔️
68tidTID✔️✔️
69cidrCIDR✔️✔️
70inetINET✔️✔️
71tsqueryTSQUERY✔️✔️
72tsrangeTSRANGE✔️✔️
73tstzrangeTSTZRANGE✔️✔️
74tsvectorTSVECTOR✔️✔️
75txid_snapshotTXID_SNAPSHOT✔️✔️
76unknownUNKNOWN✔️✔️
77abstimeABSTIME✔️✔️
78aclitemACLITEM✔️✔️
79boxBOX✔️✔️
80cidCID✔️✔️
81xidXID✔️✔️
82gtsvectorGTSVECTOR✔️✔️
83circleCIRCLE✔️✔️
84characterCHARACTER✔️✔️
85character [ (_n_) ]❌
86geometryGEOMETRY✔️
87character varying [ (_n_) ]CHARACTER VARYING✔️✔️
88CHAR [(size [BYTECHAR])] (兼容oracle)❌
89NCHAR(兼容oracle)❌
90_text_TEXT❌
91VARCHAR2(兼容oracle)VARCHAR2✔️
92varchar2(n)VARCHAR2(size CHAR)✔️
93NVARCHAR2(兼容oracle)NVARCHAR2(size)✔️
94LONG(兼容oracle)LONG✔️
95LONG RAW(兼容oracle)LONG RAW✔️
96rawRAW✔️
97RAW(size)(兼容oracle)RAW(p)✔️
98BFILE(兼容oracle)BFILE✔️
99BLOB(兼容oracle)BLOB✔️
100CLOB(兼容oracle)CLOB✔️
101NCLOB(兼容oracle)NCLOB✔️
102ROWIDROWID✔️
103UROWIDUROWID✔️
104XMLTYPE❌

目的地支持类型​

序号官网支持类型DP定义的类型是否支持
1bigserialBIGSERIAL❌
2smallint❌❌
3bigint❌❌
4decimal❌❌
5double precision❌❌
6smallserial❌❌
7serial❌❌
8int2INT2✔️
9int2vectorINT2VECTOR✔️
10integerINT4✔️
11int4rangeINT4RANGE✔️
12int8INT8✔️
13int8rangeINT8RANGE❌
14moneyMONEY❌
15nameNAME❌
16numeric [ (_p_, _s_) ]NUMERIC(p, s)✔️
17numrangeNUMRANGE❌
18textTEXT✔️
19time [ (_p_) ] [ without time zone ]TIME✔️
20timestamp [ (_p_) ] [ without time zone ]TIMESTAMP✔️
21time [ (_p_) ] with time zoneTIMETZ✔️
22timestamp [ (_p_) ] with time zoneTIMESTAMPTZ✔️
23uuidUUID❌
24varchar(n)VARCHAR(p)✔️
25xmlXML✔️
26bit [ (_n_) ]BIT❌
27booleanBOOL✔️
28byteaBYTEA✔️
29bpcharBPCHAR✔️
30dateDATE✔️
31daterangeDATERANGE❌
32realREAL✔️
33NUMBER(兼容oracle)❌
34FLOAT[(p)](兼容oracle)❌
35float4FLOAT4✔️
36FLOAT8✔️
37BINARY_FLOAT(兼容 oracle)❌
38BINARY_DOUBLE(兼容 oracle)❌
39jsonJSON❌
40jsonbJSONB❌
41lineLINE❌
42lsegLSEG❌
43oidOID❌
44oidvectorOIDVECTOR❌
45pathPATH❌
46pg_lsnPG_LSN❌
47pg_node_treePG_NODE_TREE❌
48pointPOINT❌
49polygonPOLYGON❌
50refcursorREFCURSOR❌
51regclassREGCLASS❌
52regconfigREGCONFIG❌
53regdictionaryREGDICTIONARY❌
54regnamespaceREGNAMESPACE❌
55regoperREGOPER❌
56macaddrMACADDR❌
57regoperatorREGOPERATOR❌
58regprocREGPROC❌
59regprocedureREGPROCEDURE❌
60regroleREGROLE❌
61regtypeREGTYPE❌
62RELTIME❌
63SMGR❌
64tidTID❌
65TINTERVAL❌
66interval [ _fields_] [ (_p_) ]INTERVAL✔️
67INTERVAL YEAR [(year_precision)] TO MONTH(兼容oracle)❌
68INTERVAL DAY [(day_precision)] TO SECOND [(fractional_seconds_precision)](兼容oracle)❌
69cidrCIDR❌
70inetINET❌
71tsqueryTSQUERY❌
72tsrangeTSRANGE❌
73tstzrangeTSRANGE❌
74tsvectorTSVECTOR❌
75bit varying [ (_n_) ]VARBIT✔️
76txid_snapshotTXID_SNAPSHOT❌
77UNKNOWN❌
78ABSTIME❌
79aclitemACLITEM❌
80boxBOX❌
81cidCID❌
82xidXID❌
83gtsvectorGTSVECTOR❌
84circleCIRCLE❌
85characterCHARACTER✔️
86character [ (_n_) ]❌
87GEOMETRY❌
88character varying [ (_n_) ]CHARACTER VARYING❌
89CHAR [(size [BYTECHAR])] (兼容oracle)
90NCHAR(兼容oracle)❌
91_TEXT❌
92_INT2❌
93VARCHAR2(兼容oracle)VARCHAR2❌
94VARCHAR2(size CHAR)❌
95NVARCHAR2(兼容oracle)NVARCHAR2(size)❌
96LONG(兼容oracle)LONG❌
97LONG RAW(兼容oracle)LONG RAW❌
98TIMESTAMPLTZ❌
99RAW❌
100RAW(size)(兼容oracle)RAW(p)❌
101BFILE(兼容oracle)BFILE❌
102BLOB(兼容oracle)BLOB❌
103CLOB(兼容oracle)CLOB❌
104NCLOB(兼容oracle)NCLOB❌
105ROWID(兼容oracle)ROWID❌
106UROWID(兼容oracle)UROWID❌
107XMLTYPE❌

说明:由于pg类型的数据库较为灵活,因此有部分字段类型官网没有,但是通过JDBC驱动查询时,可以查询出来。因此DP支持的字段类型会有部分在官网上没有更新。

DML​

读取​

读取模式DML识别捕获信息限制
JDBCINSERT源端读取支持的所有上述字段类型【限制】不支持列筛选
wal2jsoninsert源端读取支持的所有上述字段类型【限制】不支持列筛选
【限制】无主键的表,捕获不到D类型的记录;U类型捕获只有after有值,before都是null(有些时候U也捕获不到,是复制槽的限制,可以消费复制槽验证)
想要捕获全部信息,需要REPLICA IDENTITY属性设置为FULL(同样适用于有主键表想捕获全部列)
-- 查级别,查出来的可能是缩写,只有首字母
SELECT n.nspname,c.relname,relreplident FROM pg_catalog.pg_class c LEFT JOIN pg_catalog.pg_namespace n ON c.relnamespace=n.oid where c.relname = 'heh_0714'
-- 修改级别
ALTER TABLE heh_0714 REPLICA IDENTITY FULL
update源端读取支持的所有上述字段类型
delete源端读取支持的所有上述字段类型
pgoutputinsert源端读取支持的所有上述字段类型【限制】不支持列投影
【限制】无法捕获到TOAST字段
在 PostgreSQL 中,tost 其实是指 TOAST(The Oversized-Attribute Storage Technique)。这是 PostgreSQL 用来存储大数据字段的机制。TOAST 是 PostgreSQL 在存储大型字段(如 TEXT、BYTEA 和 JSONB 等大对象)时的一种技术,允许将过大的数据分割为块并压缩,以便更高效地存储和访问。简单来说,TOAST 字段就是超过某个阈值的字段数据,它们在数据库内部经过分块和压缩处理
【限制】无主键的表,捕获不到D类型的记录;U类型捕获只有after有值,before都是null(有些时候U也捕获不到,是复制槽的限制,可以消费复制槽验证)
想要捕获全部信息,需要REPLICA IDENTITY属性设置为FULL(同样适用于有主键表想捕获全部列)
-- 查级别,查出来的可能是缩写,只有首字母
SELECT n.nspname,c.relname,relreplident FROM pg_catalog.pg_class c LEFT JOIN pg_catalog.pg_namespace n ON c.relnamespace=n.oid where c.relname = 'heh_0714'
-- 修改级别
ALTER TABLE heh_0714 REPLICA IDENTITY FULL


update源端读取支持的所有上述字段类型
delete源端读取支持的所有上述字段类型

写入​

写入策略写入SQL语法限制
INSERTINSERT INTO ... VALUES ...
UPDATEUPDATE... SET... WHERE ...需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
【限制】当源端采集不完整,目的主键列 源端采集不到,会存在最终数据不一致情况,因为拿null去更新数据(不是因为真实值为null,是因为采集不完整)
当更新条件中存在值为null时,会做特殊处理。
更新条件的字段为空:update 表名 set 字段 value where 更新条件 is null;
更新条件的字段为空:update 表名 set 字段 value where 更新条件 in value;
示例:
plain UPDATE "database_name"."public"."t1" SET "col1"=?,"col2"=? WHERE "id1" IS NULL AND "id"=?
DELETEset enable_indexscan = on;
set enable_seqscan = off;
DELETE FROM... WHERE ...
需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
原因同上:
当更新条件中存在值为null时,会做特殊处理。
1. 更新条件的字段为空:delete from 表名 where 更新条件 is null;
2. 更新条件的字段不为空:delete from 表名 where 更新条件的字段 in (value);
plain DELETE FROM "database_name"."public"."t1" WHERE "id1" IS NULL AND ("id") in (('1'))
MERGE其他版本+ 部分更新(oracle未开启补全),upadte
其他版本
1)主键变更: delete+ insert
2)非主键变更:
INSERT INTO ...VALUES ...
ON CONFLICT ... DO UPDATE SET...
IGNORE

DDL​

读取​

由于解析是通过wal2json,而wal2json中没有DDL信息,因此,实际上DDL是靠结构比对捕获的,因此,需要增量数据触发diff。

DDL类型JDBC是否支持获取wal2json是否支持上游触发场景支持处理的内容
add column✔️✔️1. 源端加列
2. JDBC模式下,源端rename列–rename后的列识别为新增列
【限制】不支持移位DDL,即不支持after,first等
名称、类型、精度、标度、默认值、注释、not null
drop column✔️✔️1. 源端加列
2. JDBC模式下,源端rename列–rename后的列识别为新增列
modify column✔️✔️源端修改类型,精度,标度类型、精度、标度、默认值、注释、not null
rename column❌❌【限制】不支持,会识别为删除列+新增列(风险❗️)
【限制】wal2json不支持rename
drop table✔️❌源表被删除或者源表被rename
【说明】当JDBC读取的时候,会检测到待同步的表不存在。
truncate table❌❌不支持
create table❌❌当前不支持
rename table❌❌不支持,会被识别为drop table

写入​

DDL类型是否支持限制
truncate table✔️
drop table✔️
truncate partition❌
drop partition❌
add column✔️【限制】不支持移位DDL,即不支持after,first等
drop column✔️
modify column✔️【限制】1、其他未支持的属性,结构变化后映射可能会有diff
【限制】2、修改列的数据类型,并且新类型与旧类型不兼容时,需要使用 USING 子句,此种场景暂不支持
rename column✔️【限制】其他未支持的属性,结构变化后映射可能会有diff

索引​

PostgreSQL 当前支持在创建目的表时,可以创建索引,目前支持的索引类型及配置

索引类型索引存储方式排序
普通索引Hash 、Btree支持配置
唯一索引Btree支持配置
主键索引Btree不支持配置,默认为升序

添加 TDSQL PostgreSQL 节点操作步骤

新建弹窗界面选择了 PostgreSQL 节点类型之后,显示 PostgreSQL 的基本信息配置模板:

  • 版本:选择版本
  • 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或datapipeline.com
  • 端口:输入连接数据节点的端口值
  • 数据库名称:要求连接数据库的名称
  • Schema 目录:要求输入数据节点读取目录地址
    • 选项一:public(默认)
    • 选项二:用户可输入自定义选项
    • 允许输入多个 Schema,多个 Schema 可用英文逗号分隔
  • 用户名和密码:输入可访问该数据节点的用户名和密码
  • 节点参数
参数默认值影响兼容模式使用说明
USE_SYSTEM_INDEX_DESC_TABLEfalsepg兼容模式和oracle兼容模式如果需要使用分区表必须配置true!!为了性能默认是false,使用分区表不设置true的话会查不到元数据
nls_date_formatYYYY-MM-DD HH24:mm:ssoracle兼容模式如果使用oracle兼容模式且需要使用date类型,必须配置YYYY-MM-DD;如果使用oracle兼容模式且需使用YYYY-MM-DD HH:mm:ss格式,请使用TimeStamp格式

节点限制:​

wal2json的实现机制,是开启了复制槽后,会定期的flush lsn ,通知数据库,这一批已经处理完了。这个时候,数据库会根据返回的信息,定期处理和回收日志,因此pg系的对于wal2json的同步方式,指定LSN的预期将很难确定,无法确认数据库回收了多少,举例,复制槽开始时是100,系统复制到了10000,这个时候可能日志回收被处理的是100-10000之间的一个值,然后如果指定了一个小于10000的数,如果启动时没有被回收则从该点继续读,如果回收了,则从最小的开始读,因此这个功能对于用户而言预期和实际有很大的偏差,对于该节点,只能提供暂停时进度,激活时间为起点,这两个起点设置,暂不支持指定起点的功能。