跳到主要内容
版本:v4.18

版本说明

  1. 数据源 JDBC 模式支持 5.21.x 版本;
  2. 目的地 JDBC 模式支持 5.21.x 版本.

读取方式

读取方式场景权限要求对应功能
JDBC批量同步场景,全量初始化1、赋予查询权限:
GRANT SELECT ON schema_name.table_name TO dp_user;
2、赋予schema的使用权限:
GRANT USAGE ON SCHEMA public TO dp_user;
1、选表,读取数据
2、任务运行,读取权限

写入方式

写入方式场景权限要求对应功能说明
JDBC写入1、赋予在该schema下创建表的权限:
GRANT CREATE ON SCHEMA schema_name TO dp_user;
2、赋予schema的使用权限:
GRANT USAGE ON SCHEMA schema_name TO dp_user;
GRANT SELECT ON schema_name.table_name TO dp_user;
3、赋予写入权限:
GRANT SELECT,INSERT,UPDATE,DELETE ON schema_name.table_name TO dp_user;
4、赋予清空权限: GRANT TRUNCATE ON schema_name.table_name TO dp_user;
5、修改表的owner
ALTER TABLE schema_name.table_name OWNER TO dp_user; -- 成为 table 的 OWNER 后,可以拥有 DROP table 的权限。当使用 DataPipeline 的“同步前重建表”的功能时需要此权限
1、创建表
2、任务运行,读取写入权限
3、选表,写入数据
4、清空目的地表
5、删除重建表,结构变化

节点特性

数据类型​

序号官网支持类型DP定义的类型作为源支持情况作为目的地支持情况
1bigserialBIGSERIAL✔️❌
2smallint❌❌❌
3bigint❌❌❌
4decimal❌❌❌
5double precision❌❌❌
6smallserial❌❌❌
7serial❌❌❌
8INT2✔️✔️
9int2vectorINT2VECTOR✔️✔️
10integerINT4✔️✔️
11int4rangeINT4RANGE✔️✔️
12INT8✔️✔️
13int8rangeINT8RANGE✔️❌
14moneyMONEY✔️❌
15nameNAME✔️❌
16numeric [ (_p_, _s_) ]NUMERIC(p, s)✔️✔️
17numrangeNUMRANGE✔️❌
18textTEXT✔️✔️
19time [ (_p_) ] [ without time zone ]TIME✔️✔️
20timestamp [ (_p_) ] [ without time zone ]TIMESTAMP✔️✔️
21time [ (_p_) ] with time zoneTIMETZ✔️✔️
22timestamp [ (_p_) ] with time zoneTIMESTAMPTZ✔️✔️
23uuidUUID✔️❌
24varchar(n)VARCHAR(p)✔️✔️
25xmlXML✔️✔️
26bit [ (_n_) ]BIT✔️❌
27booleanBOOL✔️✔️
28byteaBYTEA✔️✔️
29bpcharBPCHAR✔️✔️
30dateDATE✔️✔️
31daterangeDATERANGE✔️❌
32realREAL✔️✔️
33NUMBER(兼容oracle)❌❌
34FLOAT[(p)](兼容oracle)❌❌
35float4FLOAT4✔️✔️
36FLOAT8✔️✔️
37BINARY_FLOAT(兼容 oracle)❌❌
38BINARY_DOUBLE(兼容 oracle)❌❌
39jsonJSON✔️❌
40jsonbJSONB✔️❌
41lineLINE✔️❌
42lsegLSEG✔️❌
43oidOID✔️❌
44oidvectorOIDVECTOR✔️❌
45pathPATH✔️❌
46pg_lsnPG_LSN✔️❌
47pg_node_treePG_NODE_TREE✔️❌
48pointPOINT✔️❌
49polygonPOLYGON✔️❌
50refcursorREFCURSOR✔️❌
51regclassREGCLASS✔️❌
52regconfigREGCONFIG✔️❌
53regdictionaryREGDICTIONARY✔️❌
54regnamespaceREGNAMESPACE✔️❌
55regoperREGOPER✔️❌
56macaddrMACADDR✔️❌
57regoperatorREGOPERATOR✔️❌
58regprocREGPROC✔️❌
59regprocedureREGPROCEDURE✔️❌
60regroleREGROLE✔️❌
61regtypeREGTYPE✔️❌
62RELTIME✔️❌
63SMGR✔️❌
64tidTID✔️❌
65TINTERVAL✔️❌
66interval [ _fields_] [ (_p_) ]INTERVAL✔️✔️
67INTERVAL YEAR [(year_precision)] TO MONTH(兼容oracle)❌❌
68INTERVAL DAY [(day_precision)] TO SECOND [(fractional_seconds_precision)](兼容oracle)❌❌
69cidrCIDR✔️❌
70inetINET✔️❌
71tsqueryTSQUERY✔️❌
72tsrangeTSRANGE✔️❌
73tstzrangeTSRANGE✔️❌
74tsvectorTSVECTOR✔️❌
75bit varying [ (_n_) ]VARBIT✔️✔️
76txid_snapshotTXID_SNAPSHOT✔️❌
77UNKNOWN✔️❌
78ABSTIME✔️❌
79aclitemACLITEM✔️❌
80boxBOX✔️❌
81cidCID✔️❌
82xidXID✔️❌
83gtsvectorGTSVECTOR✔️❌
84circleCIRCLE✔️❌
85characterCHARACTER✔️✔️
86character [ (_n_) ]❌❌
87GEOMETRY✔️❌
88character varying [ (_n_) ]CHARACTER VARYING✔️❌
89CHAR [(size [BYTECHAR])] (兼容oracle)❌
90NCHAR(兼容oracle)❌❌
91_TEXT❌❌
92VARCHAR2(兼容oracle)VARCHAR2✔️❌
93VARCHAR2(size CHAR)✔️❌
94NVARCHAR2(兼容oracle)NVARCHAR2(size)✔️❌
95LONG(兼容oracle)LONG✔️❌
96LONG RAW(兼容oracle)LONG RAW✔️❌
97TIMESTAMPLTZ✔️❌
98RAW✔️❌
99RAW(size)(兼容oracle)RAW(p)✔️❌
100BFILE(兼容oracle)BFILE✔️❌
101BLOB(兼容oracle)BLOB✔️❌
102CLOB(兼容oracle)CLOB✔️❌
103NCLOB(兼容oracle)NCLOB✔️❌
104ROWID(兼容oracle)ROWID✔️❌
105UROWID(兼容oracle)UROWID✔️❌
106XMLTYPE❌❌

说明:由于pg类型的数据库较为灵活,因此有部分字段类型官网没有,但是通过JDBC驱动查询时,可以查询出来。因此DP支持的字段类型会有部分在官网上没有更新。

DML​

读取​

读取模式DML识别捕获信息限制
JDBCINSERT源端读取支持的所有字段类型【限制】不支持列筛选

写入​

写入策略写入SQL语法限制
INSERTINSERT INTO 。。。 VALUES 。。。
UPDATEUPDATE。。。 SET。。。 WHERE 。。。需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
【限制】当源端采集不完整,目的主键列 源端采集不到,会存在最终数据不一致情况,因为拿null去更新数据(不是因为真实值为null,是因为采集不完整)
当更新条件中存在值为null时,会做特殊处理。
更新条件的字段为空:update 表名 set 字段 value where 更新条件 is null;
更新条件的字段为空:update 表名 set 字段 value where 更新条件 in value;
示例:
plain UPDATE "database_name"."public"."t1" SET "col1"=?,"col2"=? WHERE "id1" IS NULL AND "id"=?
DELETEset enable_indexscan = on;
set enable_seqscan = off;
DELETE FROM。。。 WHERE 。。。
需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
原因同上:
当更新条件中存在值为null时,会做特殊处理。
1. 更新条件的字段为空:delete from 表名 where 更新条件 is null;
2. 更新条件的字段不为空:delete from 表名 where 更新条件的字段 in (value);
plain DELETE FROM "database_name"."public"."t1" WHERE "id1" IS NULL AND ("id") in (('1'))
MERGE其他版本+ 部分更新(oracle未开启补全),upadte
其他版本
1)主键变更: delete+ insert
2)非主键变更:
INSERT INTO 。。。VALUES 。。。
ON CONFLICT 。。。 DO UPDATE SET。。。
IGNORE

DDL​

读取​

由于解析是通过wal2json,而wal2json中没有DDL信息,因此,实际上DDL是靠结构比对捕获的,因此,需要增量数据触发diff。

DDL类型读取方式是否支持获取上游触发场景支持处理的内容
add columnJDBC✔️1. 源端加列
2. 源端rename列–rename后的列识别为新增列
【限制】不支持移位DDL,即不支持after,first等
名称、类型、精度、标度、默认值、注释、not null
drop columnJDBC✔️1. 源端加列
2. 源端rename列–rename后的列识别为新增列
modify columnJDBC✔️源端修改类型,精度,标度类型、精度、标度、默认值、注释、not null
rename columnJDBC❌【限制】不支持,会识别为删除列+新增列(风险❗️)
drop tableJDBC✔️源表被删除或者源表被rename
【说明】当JDBC读取的时候,会检测到待同步的表不存在。
truncate tableJDBC❌不支持
create tableJDBC❌当前不支持
rename tableJDBC❌不支持,会被识别为drop table

写入​

DDL类型是否支持限制
truncate table✔️
drop table✔️
truncate partition❌
drop partition❌
add column✔️【限制】不支持移位DDL,即不支持after,first等
drop column✔️
modify column✔️【限制】1、其他未支持的属性,结构变化后映射可能会有diff
【限制】2、修改列的数据类型,并且新类型与旧类型不兼容时,需要使用 USING 子句,此种场景暂不支持
rename column✔️【限制】其他未支持的属性,结构变化后映射可能会有diff

索引​

PostgreSQL 当前支持在创建目的表时,可以创建索引,目前支持的索引类型及配置

索引类型索引存储方式排序
普通索引Hash 、Btree支持配置
唯一索引Btree支持配置
主键索引Btree不支持配置,默认为升序

添加 TDSQL PostgreSQL 节点操作步骤

新建弹窗界面选择了 PostgreSQL 节点类型之后,显示 PostgreSQL 的基本信息配置模板:

  • 版本:选择版本
  • 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或datapipeline.com
  • 端口:输入连接数据节点的端口值
  • 数据库名称:要求连接数据库的名称
  • Schema 目录:要求输入数据节点读取目录地址
    • 选项一:public(默认)
    • 选项二:用户可输入自定义选项
    • 允许输入多个 Schema,多个 Schema 可用英文逗号分隔
  • 用户名和密码:输入可访问该数据节点的用户名和密码
  • 节点参数
参数默认值影响兼容模式使用说明
USE_SYSTEM_INDEX_DESC_TABLEfalsepg兼容模式和oracle兼容模式如果需要使用分区表必须配置true!!为了性能默认是false,使用分区表不设置true的话会查不到元数据
nls_date_formatYYYY-MM-DD HH24:mm:ssoracle兼容模式如果使用oracle兼容模式且需要使用date类型,必须配置YYYY-MM-DD;如果使用oracle兼容模式且需使用YYYY-MM-DD HH:mm:ss格式,请使用TimeStamp格式