版本:v4.16
版本说明
- 数据源 JDBC 模式支持 5.21.x 版本;
- 目的地 JDBC 模式支持 5.21.x 版本.
读取方式
| 读取方式 | 场景 | 权限要求 | 对应功能 |
|---|---|---|---|
| JDBC | 批量同步场景,全量初始化 | 1、赋予查询权限: GRANT SELECT ON schema_name.table_name TO dp_user; 2、赋予schema的使用权限: GRANT USAGE ON SCHEMA public TO dp_user; | 1、选表,读取数据 2、任务运行,读取权限 |
写入方式
| 写入方式 | 场景 | 权限要求 | 对应功能说明 |
|---|---|---|---|
| JDBC | 写入 | 1、赋予在该schema下创建表的权限: GRANT CREATE ON SCHEMA schema_name TO dp_user; 2、赋予schema的使用权限: GRANT USAGE ON SCHEMA schema_name TO dp_user; GRANT SELECT ON schema_name.table_name TO dp_user; 3、赋予写入权限: GRANT SELECT,INSERT,UPDATE,DELETE ON schema_name.table_name TO dp_user; 4、赋予清空权限: GRANT TRUNCATE ON schema_name.table_name TO dp_user; 5、修改表的owner ALTER TABLE schema_name.table_name OWNER TO dp_user; -- 成为 table 的 OWNER 后,可以拥有 DROP table 的权限。当使用 DataPipeline 的“同步前重建表”的功能时需要此权限 | 1、创建表 2、任务运行,读取写入权限 3、选表,写入数据 4、清空目的地表 5、删除重建表,结构变化 |
节点特性
数据类型
| 序号 | 官网支持类型 | DP定义的类型 | 作为源支持情况 | 作为目的地支持情况 |
|---|---|---|---|---|
| 1 | bigserial | BIGSERIAL | ✔️ | ❌ |
| 2 | smallint | ❌ | ❌ | ❌ |
| 3 | bigint | ❌ | ❌ | ❌ |
| 4 | decimal | ❌ | ❌ | ❌ |
| 5 | double precision | ❌ | ❌ | ❌ |
| 6 | smallserial | ❌ | ❌ | ❌ |
| 7 | serial | ❌ | ❌ | ❌ |
| 8 | INT2 | ✔️ | ✔️ | |
| 9 | int2vector | INT2VECTOR | ✔️ | ✔️ |
| 10 | integer | INT4 | ✔️ | ✔️ |
| 11 | int4range | INT4RANGE | ✔️ | ✔️ |
| 12 | INT8 | ✔️ | ✔️ | |
| 13 | int8range | INT8RANGE | ✔️ | ❌ |
| 14 | money | MONEY | ✔️ | ❌ |
| 15 | name | NAME | ✔️ | ❌ |
| 16 | numeric [ (_p_, _s_) ] | NUMERIC(p, s) | ✔️ | ✔️ |
| 17 | numrange | NUMRANGE | ✔️ | ❌ |
| 18 | text | TEXT | ✔️ | ✔️ |
| 19 | time [ (_p_) ] [ without time zone ] | TIME | ✔️ | ✔️ |
| 20 | timestamp [ (_p_) ] [ without time zone ] | TIMESTAMP | ✔️ | ✔️ |
| 21 | time [ (_p_) ] with time zone | TIMETZ | ✔️ | ✔️ |
| 22 | timestamp [ (_p_) ] with time zone | TIMESTAMPTZ | ✔️ | ✔️ |
| 23 | uuid | UUID | ✔️ | ❌ |
| 24 | varchar(n) | VARCHAR(p) | ✔️ | ✔️ |
| 25 | xml | XML | ✔️ | ✔️ |
| 26 | bit [ (_n_) ] | BIT | ✔️ | ❌ |
| 27 | boolean | BOOL | ✔️ | ✔️ |
| 28 | bytea | BYTEA | ✔️ | ✔️ |
| 29 | bpchar | BPCHAR | ✔️ | ✔️ |
| 30 | date | DATE | ✔️ | ✔️ |
| 31 | daterange | DATERANGE | ✔️ | ❌ |
| 32 | real | REAL | ✔️ | ✔️ |
| 33 | NUMBER(兼容oracle) | ❌ | ❌ | |
| 34 | FLOAT[(p)](兼容oracle) | ❌ | ❌ | |
| 35 | float4 | FLOAT4 | ✔️ | ✔️ |
| 36 | FLOAT8 | ✔️ | ✔️ | |
| 37 | BINARY_FLOAT(兼容 oracle) | ❌ | ❌ | |
| 38 | BINARY_DOUBLE(兼容 oracle) | ❌ | ❌ | |
| 39 | json | JSON | ✔️ | ❌ |
| 40 | jsonb | JSONB | ✔️ | ❌ |
| 41 | line | LINE | ✔️ | ❌ |
| 42 | lseg | LSEG | ✔️ | ❌ |
| 43 | oid | OID | ✔️ | ❌ |
| 44 | oidvector | OIDVECTOR | ✔️ | ❌ |
| 45 | path | PATH | ✔️ | ❌ |
| 46 | pg_lsn | PG_LSN | ✔️ | ❌ |
| 47 | pg_node_tree | PG_NODE_TREE | ✔️ | ❌ |
| 48 | point | POINT | ✔️ | ❌ |
| 49 | polygon | POLYGON | ✔️ | ❌ |
| 50 | refcursor | REFCURSOR | ✔️ | ❌ |
| 51 | regclass | REGCLASS | ✔️ | ❌ |
| 52 | regconfig | REGCONFIG | ✔️ | ❌ |
| 53 | regdictionary | REGDICTIONARY | ✔️ | ❌ |
| 54 | regnamespace | REGNAMESPACE | ✔️ | ❌ |
| 55 | regoper | REGOPER | ✔️ | ❌ |
| 56 | macaddr | MACADDR | ✔️ | ❌ |
| 57 | regoperator | REGOPERATOR | ✔️ | ❌ |
| 58 | regproc | REGPROC | ✔️ | ❌ |
| 59 | regprocedure | REGPROCEDURE | ✔️ | ❌ |
| 60 | regrole | REGROLE | ✔️ | ❌ |
| 61 | regtype | REGTYPE | ✔️ | ❌ |
| 62 | RELTIME | ✔️ | ❌ | |
| 63 | SMGR | ✔️ | ❌ | |
| 64 | tid | TID | ✔️ | ❌ |
| 65 | TINTERVAL | ✔️ | ❌ | |
| 66 | interval [ _fields_] [ (_p_) ] | INTERVAL | ✔️ | ✔️ |
| 67 | INTERVAL YEAR [(year_precision)] TO MONTH(兼容oracle) | ❌ | ❌ | |
| 68 | INTERVAL DAY [(day_precision)] TO SECOND [(fractional_seconds_precision)](兼容oracle) | ❌ | ❌ | |
| 69 | cidr | CIDR | ✔️ | ❌ |
| 70 | inet | INET | ✔️ | ❌ |
| 71 | tsquery | TSQUERY | ✔️ | ❌ |
| 72 | tsrange | TSRANGE | ✔️ | ❌ |
| 73 | tstzrange | TSRANGE | ✔️ | ❌ |
| 74 | tsvector | TSVECTOR | ✔️ | ❌ |
| 75 | bit varying [ (_n_) ] | VARBIT | ✔️ | ✔️ |
| 76 | txid_snapshot | TXID_SNAPSHOT | ✔️ | ❌ |
| 77 | UNKNOWN | ✔️ | ❌ | |
| 78 | ABSTIME | ✔️ | ❌ | |
| 79 | aclitem | ACLITEM | ✔️ | ❌ |
| 80 | box | BOX | ✔️ | ❌ |
| 81 | cid | CID | ✔️ | ❌ |
| 82 | xid | XID | ✔️ | ❌ |
| 83 | gtsvector | GTSVECTOR | ✔️ | ❌ |
| 84 | circle | CIRCLE | ✔️ | ❌ |
| 85 | character | CHARACTER | ✔️ | ✔️ |
| 86 | character [ (_n_) ] | ❌ | ❌ | |
| 87 | GEOMETRY | ✔️ | ❌ | |
| 88 | character varying [ (_n_) ] | CHARACTER VARYING | ✔️ | ❌ |
| 89 | CHAR [(size [BYTE | CHAR])] (兼容oracle) | ❌ | |
| 90 | NCHAR(兼容oracle) | ❌ | ❌ | |
| 91 | _TEXT | ❌ | ❌ | |
| 92 | VARCHAR2(兼容oracle) | VARCHAR2 | ✔️ | ❌ |
| 93 | VARCHAR2(size CHAR) | ✔️ | ❌ | |
| 94 | NVARCHAR2(兼容oracle) | NVARCHAR2(size) | ✔️ | ❌ |
| 95 | LONG(兼容oracle) | LONG | ✔️ | ❌ |
| 96 | LONG RAW(兼容oracle) | LONG RAW | ✔️ | ❌ |
| 97 | TIMESTAMPLTZ | ✔️ | ❌ | |
| 98 | RAW | ✔️ | ❌ | |
| 99 | RAW(size)(兼容oracle) | RAW(p) | ✔️ | ❌ |
| 100 | BFILE(兼容oracle) | BFILE | ✔️ | ❌ |
| 101 | BLOB(兼容oracle) | BLOB | ✔️ | ❌ |
| 102 | CLOB(兼容oracle) | CLOB | ✔️ | ❌ |
| 103 | NCLOB(兼容oracle) | NCLOB | ✔️ | ❌ |
| 104 | ROWID(兼容oracle) | ROWID | ✔️ | ❌ |
| 105 | UROWID(兼容oracle) | UROWID | ✔️ | ❌ |
| 106 | XMLTYPE | ❌ | ❌ |
说明:由于pg类型的数据库较为灵活,因此有部分字段类型官网没有,但是通过JDBC驱动查询时,可以查询出来。因此DP支持的字段类型会有部分在官网上没有更新。
DML
读取
| 读取模式 | DML识别 | 捕获信息 | 限制 |
|---|---|---|---|
| JDBC | INSERT | 源端读取支持的所有字段类型 | 【限制】不支持列筛选 |
写入
| 写入策略 | 写入SQL语法 | 限制 |
|---|---|---|
| INSERT | INSERT INTO 。。。 VALUES 。。。 | |
| UPDATE | UPDATE。。。 SET。。。 WHERE 。。。 | 需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。 【限制】当源端采集不完整,目的主键列 源端采集不到,会存在最终数据不一致情况,因为拿null去更新数据(不是因为真实值为null,是因为采集不完整) 当更新条件中存在值为null时,会做特殊处理。 更新条件的字段为空:update 表名 set 字段 value where 更新条件 is null; 更新条件的字段为空:update 表名 set 字段 value where 更新条件 in value; 示例: plain UPDATE "database_name"."public"."t1" SET "col1"=?,"col2"=? WHERE "id1" IS NULL AND "id"=? |
| DELETE | set enable_indexscan = on; set enable_seqscan = off; DELETE FROM。。。 WHERE 。。。 | 需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。 原因同上: 当更新条件中存在值为null时,会做特殊处理。 1. 更新条件的字段为空:delete from 表名 where 更新条件 is null; 2. 更新条件的字段不为空:delete from 表名 where 更新条件的字段 in (value); plain DELETE FROM "database_name"."public"."t1" WHERE "id1" IS NULL AND ("id") in (('1')) |
| MERGE | 其他版本+ 部分更新(oracle未开启补全),upadte | |
| 其他版本 1)主键变更: delete+ insert 2)非主键变更: INSERT INTO 。。。VALUES 。。。 ON CONFLICT 。。。 DO UPDATE SET。。。 | ||
| IGNORE |
DDL
读取
由于解析是通过wal2json,而wal2json中没有DDL信息,因此,实际上DDL是靠结构比对捕获的,因此,需要增量数据触发diff。
| DDL类型 | 读取方式 | 是否支持获取 | 上游触发场景 | 支持处理的内容 |
|---|---|---|---|---|
| add column | JDBC | ✔️ | 1. 源端加列 2. 源端rename列–rename后的列识别为新增列 【限制】不支持移位DDL,即不支持after,first等 | 名称、类型、精度、标度、默认值、注释、not null |
| drop column | JDBC | ✔️ | 1. 源端加列 2. 源端rename列–rename后的列识别为新增列 | |
| modify column | JDBC | ✔️ | 源端修改类型,精度,标度 | 类型、精度、标度、默认值、注释、not null |
| rename column | JDBC | ❌ | 【限制】不支持,会识别为删除列+新增列(风险❗️) | |
| drop table | JDBC | ✔️ | 源表被删除或者源表被rename 【说明】当JDBC读取的时候,会检测到待同步的表不存在。 | |
| truncate table | JDBC | ❌ | 不支持 | |
| create table | JDBC | ❌ | 当前不支持 | |
| rename table | JDBC | ❌ | 不支持,会被识别为drop table |
写入
| DDL类型 | 是否支持 | 限制 |
|---|---|---|
| truncate table | ✔️ | |
| drop table | ✔️ | |
| truncate partition | ❌ | |
| drop partition | ❌ | |
| add column | ✔️ | 【限制】不支持移位DDL,即不支持after,first等 |
| drop column | ✔️ | |
| modify column | ✔️ | 【限制】1、其他未支持的属性,结构变化后映射可能会有diff 【限制】2、修改列的数据类型,并且新类型与旧类型不兼容时,需要使用 USING 子句,此种场景暂不支持 |
| rename column | ✔️ | 【限制】其他未支持的属性,结构变化后映射可能会有diff |
索引
PostgreSQL 当前支持在创建目的表时,可以创建索引,目前支持的索引类型及配置
| 索引类型 | 索引存储方式 | 排序 |
|---|---|---|
| 普通索引 | Hash 、Btree | 支持配置 |
| 唯一索引 | Btree | 支持配置 |
| 主键索引 | Btree | 不支持配置,默认为升序 |
添加 TDSQL PostgreSQL 节点操作步骤
新建弹窗界面选择了 PostgreSQL 节点类型之后,显示 PostgreSQL 的基本信息配置模板:
- 版本:选择版本
- 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或datapipeline.com
- 端口:输入连接数据节点的端口值
- 数据库名称:要求连接数据库的名称
- Schema 目录:要求输入数据节点读取目录地址
- 选项一:public(默认)
- 选项二:用户可输入自定义选项
- 允许输入多个 Schema,多个 Schema 可用英文逗号分隔
- 用户名和密码:输入可访问该数据节点的用户名和密码
- 节点参数
| 参数 | 默认值 | 影响兼容模式 | 使用说明 |
|---|---|---|---|
| USE_SYSTEM_INDEX_DESC_TABLE | false | pg兼容模式和oracle兼容模式 | 如果需要使用分区表必须配置true!!为了性能默认是false,使用分区表不设置true的话会查不到元数据 |
| nls_date_format | YYYY-MM-DD HH24:mm:ss | oracle兼容模式 | 如果使用oracle兼容模式且需要使用date类型,必须配置YYYY-MM-DD;如果使用oracle兼容模式且需使用YYYY-MM-DD HH:mm:ss格式,请使用TimeStamp格式 |