跳到主要内容
版本:v4.22

TelePG

当前该节点仅支持作为目的地,暂不支持作为数据源。

版本说明

目的地 JDBC 模式 版本支持情况:PostgreSQL 9.5、PostgreSQL 9.6、PostgreSQL 10、PostgreSQL 11.

写入方式

写入方式场景权限要求对应功能说明
JDBC写入1、赋予在该schema下创建表的权限:
GRANT CREATE ON SCHEMA dp_schema TO dp_heh;
2、赋予schema的使用权限:
GRANT USAGE ON SCHEMA dp_schema TO dp_heh;
3、赋予写入权限:
GRANT SELECT,INSERT,UPDATE,DELETE ON dp_schema.dp_sink_table to dp_heh;
4、赋予清空权限: GRANT TRUNCATE ON dp_schema.dp_sink_table to dp_heh;
5、修改表的owner
ALTER TABLE dp_schema.dp_sink_table OWNER TO dp_heh;
1、创建表
2、任务运行,读取写入权限
3、选表,写入数据
4、清空目的地表
5、删除重建表,结构变化

节点特性

数据类型​

序号官网支持类型DP定义的类型作为源支持情况作为目的地支持情况
1bigserialBIGSERIAL✔️❌
2smallintINT2✔️✔️
3int2vectorINT2VECTOR✔️❌
4integerINT4✔️✔️
5int4rangeINT4RANGE✔️❌
6bigintINT8✔️✔️
7int8rangeINT8RANGE✔️❌
8moneyMONEY✔️❌
9nameNAME✔️❌
10numeric [ (_p_, _s_) ]NUMERIC✔️✔️
11numrangeNUMRANGE✔️❌
12textTEXT✔️✔️
13time [ (_p_) ] [ without time zone ]TIME✔️✔️
14timestamp [ (_p_) ] [ without time zone ]TIMESTAMP✔️✔️
15time [ (_p_) ] with time zoneTIMETZ✔️✔️
16timestamp [ (_p_) ] with time zoneTIMESTAMPTZ✔️✔️
17uuidUUID✔️❌
18character varying [ (_n_) ]VARCHAR✔️✔️
19xmlxml✔️❌
20bit [ (_n_) ]BIT✔️❌
21booleanBOOL✔️✔️
22byteaBYTEA✔️✔️
23character [ (_n_) ]BPCHAR✔️✔️
24dateDATE✔️✔️
25daterangeDATERANGE✔️❌
26realFLOAT4✔️✔️
27double precisionFLOAT8✔️✔️
28jsonJSON✔️❌
29jsonbJSONB✔️❌
30lineLINE✔️❌
31lsegLSEG✔️❌
32oidOID✔️❌
33oidvectorOIDVECTOR✔️❌
34pathPATH✔️❌
35pg_lsnPG_LSN✔️❌
36pg_node_treePG_NODE_TREE✔️❌
37pointPOINT✔️❌
38polygonPOLYGON✔️❌
39refcursorREFCURSOR✔️❌
40regclassREGCLASS✔️❌
41regconfigREGCONFIG✔️❌
42regdictionaryREGDICTIONARY✔️❌
43regnamespaceREGNAMESPACE✔️❌
44regoperREGOPER✔️❌
45macaddrMACADDR✔️❌
46regoperatorREGOPERATOR✔️❌
47regprocREGPROC✔️❌
48regprocedureREGPROCEDURE✔️❌
49regroleREGROLE✔️❌
50regtypeREGTYPE✔️❌
51RELTIME✔️❌
52SMGR✔️❌
53tidTID✔️❌
54TINTERVAL✔️❌
55interval [ _fields_] [ (_p_) ]INTERVAL✔️❌
56cidrCIDR✔️❌
57inetINET✔️❌
58tsqueryTSQUERY✔️❌
59tsrangeTSRANGE✔️❌
60tstzrangeTSTZRANGE✔️❌
61tsvectorTSVECTOR✔️❌
62bit varying [ (_n_) ]VARBIT✔️✔️
63txid_snapshotTXID_SNAPSHOT✔️❌
64UNKNOWN✔️❌
65ABSTIME✔️❌
66aclitemACLITEM✔️❌
67boxBOX✔️❌
68cidCID✔️❌
69xidXID✔️❌
70gtsvectorGTSVECTOR✔️❌
71circleCIRCLE✔️❌
72float4REAL✔️✔️
73bpcharCHARACTER✔️✔️
74GEOMETRY✔️❌
75character varying [ (_n_) ]CHARACTER VARYING✔️❌

说明:由于pg类型的数据库较为灵活,因此有部分字段类型官网没有,但是通过JDBC驱动查询时,可以查询出来。因此DP支持的字段类型会有部分在官网上没有更新。

DML​

写入​

写入策略写入SQL语法限制
INSERTINSERT INTO 。。。 VALUES 。。。
UPDATEUPDATE。。。 SET。。。 WHERE 。。。需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
【限制】当源端采集不完整,目的主键列 源端采集不到,会存在最终数据不一致情况,因为拿null去更新数据(不是因为真实值为null,是因为采集不完整)
当更新条件中存在值为null时,会做特殊处理。
更新条件的字段为空:update 表名 set 字段 value where 更新条件 is null;
更新条件的字段为空:update 表名 set 字段 value where 更新条件 in value;
示例:
plain UPDATE "postgres"."public"."t1" SET "col1"=?,"col2"=? WHERE "id1" IS NULL AND "id"=?
DELETEset enable_indexscan = on;
set enable_seqscan = off;
DELETE FROM。。。 WHERE 。。。
需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
原因同上:
当更新条件中存在值为null时,会做特殊处理。
1. 更新条件的字段为空:delete from 表名 where 更新条件 is null;
2. 更新条件的字段不为空:delete from 表名 where 更新条件的字段 in (value);
plain DELETE FROM "postgres"."public"."t1" WHERE "id1" IS NULL AND ("id") in (('1'))
MERGEpg 9.4: delete+ insert需要在目的地有主键。
其他版本+ 部分更新(oracle未开启补全),upadte
其他版本
1)主键变更: delete+ insert
2)非主键变更:
INSERT INTO 。。。VALUES 。。。
ON CONFLICT 。。。 DO UPDATE SET。。。
IGNORE

DDL​

写入​

DDL类型是否支持限制
truncate table✔️
drop table✔️
truncate partition❌
drop partition❌
add column✔️【限制】不支持移位DDL,即不支持after,first等
drop column✔️
modify column✔️【限制】1、其他未支持的属性,结构变化后映射可能会有diff
【限制】2、修改列的数据类型,并且新类型与旧类型不兼容时,需要使用 USING 子句,此种场景暂不支持
rename column✔️【限制】其他未支持的属性,结构变化后映射可能会有diff

索引​

PostgreSQL 当前支持在创建目的表时,可以创建索引,目前支持的索引类型及配置

索引类型索引存储方式排序
普通索引Hash 、Btree支持配置
唯一索引Btree支持配置
主键索引Btree不支持配置,默认为升序

添加 TelePG节点操作步骤

操作步骤​

新建弹窗界面选择了 TelePG 节点类型之后,显示 TelePG 的基本信息配置模板:

  • 版本:PostgreSQL 9.5、PostgreSQL 9.6、PostgreSQL 10、PostgreSQL 11.
  • 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或datapipeline.com
  • 端口:输入连接数据节点的端口值
  • 数据库名称:要求连接数据库的名称
  • Schema 目录:要求输入数据节点读取目录地址
    • 选项一:public(默认)
    • 选项二:用户可输入自定义选项
    • 允许输入多个 Schema,多个 Schema 可用英文逗号分隔
  • 用户名和密码:输入可访问该数据节点的用户名和密码

注意事项​

信息
  • TelePG 类型的数据节点仅用作数据目的地。