版本说明
支持TDSQL PostgreSQL的版本如下:
- 数据源节点 JDBC 模式支持 5.21.x 版本
- 数据源节点 wal2json 模式支持 5.21.x 版本
- 数据源节点 pgoutput 模式支持 5.21.x 版本
- 数据源节点 PostgreSQL WAL Agent 模式支持 5.21.x 版本
- 目的地节点 JDBC 模式支持 5.21.x 版本
约束及限制
- 模式 _int2 类型暂不支持读取
- wal2json 模式不支持同步视图
- 实时同步时,无主键的表,捕获不到D类型的记录;U类型捕获只有after有值,before都是null
- 当源端采集不完整,目的主键列 源端采集不到,会存在最终数据不一致情况,因为拿null去更新数据(不是因为真实值为null,是因为采集不完整)当更新条件中存在值为null时,会做特殊处理
- 实时同步时,增量delete/update需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键
- JDBC模式下,增量的rename column操作会被拆解为drop column & add column
读取方式
Datapipeline 读取 TDSQL PostgreSQL 数据库支持三种读取方式:JDBC 、wal2json 和pgoutput
JDBC读取方式
- 支持场景:增量同步、全量同步
权限要求
- 赋予查询权限:
GRANT SELECT ON schema_name.table_name TO dp_user;
- 赋予schema的使用权限:
GRANT USAGE ON SCHEMA public TO dp_user;
wal2json读取方式
注意:PostgreSQL - wal2json 插件需满足实时同步
- 支持场景:增量同步、全量同步
权限要求
- 用户角色要求:需 PostgreSQL replication 角色、PostgreSQL login 角色
- 同步表权限:需 select / update 权限
pgoutput读取方式
注意:PostgreSQL - pgoutput 插件需满足实时同步
- 支持场景:增量同步、全量同步
权限要求
- 用户角色要求:需 PostgreSQL replication 角色、PostgreSQL login 角色
- 同步表权限:需 select / update 权限、publication的创建权限、表的owner权限、schema的使用权限
PostgreSQL WAL Agent 读取方式
支持场景
- 物理日志采集
- 支持全量与增量衔接
- 任务起点配置及故障续传等关键能力
- 完整支持已有的 DML与DDL读取,确保数据变更与结构变更均可正常捕获同步
权限要求
- NOSUPERUSER + REPLICATION,可登录并连接目标库
- 从 Agent 地址认证,执行 IDENTIFY_SYSTEM 并读取所需连续物理 WAL
- 查询 pg_control_system()、pg_control_checkpoint()、pg_roles、pg_database、系统目录、pg_locks 及初始化需要的事务/主备/WAL 信息。
- 目标 schema 的 USAGE、所选表的 SELECT,以及目标数据库 CONNECT。
- full_page_writes 开启且 checkpoint/WAL 证据有效;所需原生日志连续且保留充分。这些是数据库运行条件,不是账号提权要求。未知格式、缺页/缺日志和不一致证据应阻断。
物理复制槽、WAL 保留与 Agent checkpoint 相关说明
一句话理解
物理复制槽是源库侧可选的 WAL 保留手段,用来降低 Agent 断线、停机或落后时所需 WAL 被过早清理的风险;它不是物理解析的必要条件,也不能替代 Agent 自己的 checkpoint、本地 WAL spool 和恢复状态。
Agent 自行解析原始 WAL、页、目录和事务,不依赖
pgoutput、wal2json或每任务逻辑复制槽。说明:原生 PostgreSQL 物理取流命令允许省略
SLOT,例如START_REPLICATION PHYSICAL <LSN> TIMELINE <timeline>或START_REPLICATION SLOT <slot_name> PHYSICAL <LSN> TIMELINE <timeline>。这些写法仅用于说明原生 PG 协议;GaussDB/openGauss、TDSQL、GBase8c 等商业内核须由对应客户端适配器生成命令,不能手工套用同一语法。
复制槽、本地 spool 与 checkpoint 的职责分工
| 组件 | 作用 | 不能替代什么 |
|---|---|---|
| 源库物理复制槽 | 在源库维护 WAL 保留进度。restart_lsn表示仍可能被消费者需要的最早 WAL 位置。 | 不保存 Agent 的页面底稿、历史结构、活动事务、outbox 或 Kafka 投递确认;不能当作任务消费 offset 或完整 Agent 恢复点。 |
| Agent 本地 WAL spool | 保存已接收并可靠落盘的原始 WAL,供本地连续重放。 | 不能接收 Agent 停机期间尚未传来的 WAL,不能代替源端保留。 |
| Agent checkpoint 与本地持久状态 | 保存源身份、timeline、精确记录起止位置、解析所需页和目录状态、未完成事务,以及输出与确认状态;分布式场景还保存各 DN 位置向量及协调状态。 | 不要求源库自动替 Agent 保留全部需要的 WAL。 |
| 源数据库自己的 CHECKPOINT | 数据库刷页及崩溃恢复所需,也是建立初始 WAL 恢复边界的证据之一。 | 不是 Agent 的解析与业务投递 checkpoint。 |
需要注意:pg_replication_slots 中物理槽的 confirmed_flush_lsn 为空,该字段属于逻辑槽;不能用逻辑槽字段判断物理 Agent 是否处理完成。
使用与不使用物理复制槽的取舍
| 对比项 | 不使用物理复制槽 | 使用物理复制槽 |
|---|---|---|
| 断线期间 WAL | 依赖源库日志保留窗口,或 Agent 可访问、可识别的归档;超出窗口可能缺失日志。 | 按槽进度保留仍需接收的 WAL,增强断线和落后后的续读保障,但仍受实际保留上限约束。 |
| 源库磁盘 | 没有该 Agent 的槽持续钉住旧 WAL;仍有正常 WAL、归档等空间开销。 | Agent 长期落后、停机或槽遗留时,可能持续占用 pg_wal。 |
| 运维 | 需要规划中断和追赶期间的日志覆盖范围。 | 还需管理槽的监控、保留上限、生命周期,以及数据库切换后的可用性。 |
| Agent 本地恢复 | 仍要保存 checkpoint、spool 和恢复依赖。 | 同样要保存;槽不会替 Agent 保存解析或投递状态。 |
| 能解决什么 | 不引入槽占用;适合日志保留窗口可控、断线时间可控的场景。 | 降低源库过早回收所需 WAL 的风险。 |
| 不能解决什么 | 超出日志保留窗口后仍可能无法续读。 | 不能保证任意时长断线都能续传,不能替代本地状态,不能恢复已被回收的历史 WAL。 |
PostgreSQL 的 wal_keep_size、归档和复制槽都可参与日志保留,但保障方式不同。max_slot_wal_keep_size 可以限制槽造成的 WAL 保留量;达到限制后,所需日志仍可能被清理。因此不能同时承诺“磁盘严格有界”和“任意时长断线均可续传”。
如何选择
- 不使用复制槽:适用于源库日志保留窗口和归档可覆盖预期断线时长、运维可接受日志缺口风险的场景。必须监控日志保留覆盖范围。
- 使用复制槽:适用于希望增强断线、停机、落后后的续读保障的场景。必须同时监控槽状态、
restart_lsn、WAL 保留量和生命周期。 - 无论是否使用复制槽:Agent 都必须保存 checkpoint、本地 WAL spool 和恢复依赖。复制槽只影响源端 WAL 保留,不影响 Agent 本地解析与投递状态的完整性。
示例:Agent 在某位置停止后,源库继续产生 WAL。如果重启所需区间既不在本地 spool,也已不在源库或可读取归档中,即使 checkpoint 完整也不能续读。此时应保留恢复状态并报告日志缺口,不能静默跳到 latest。后来新建物理槽也不能恢复已经被回收的历史 WAL。
写入方式
JDBC写入方式
权限要求
- 赋予在该schema下创建表的权限(创建表):
GRANT CREATE ON SCHEMA schema_name TO dp_user;
- 赋予schema的使用权限(任务运行,读取写入权限):
GRANT USAGE ON SCHEMA schema_name TO dp_user;
GRANT SELECT ON schema_name.table_name TO dp_user;
- 赋予写入权限(表的增删改查权限):
GRANT SELECT,INSERT,UPDATE,DELETE ON schema_name.table_name TO dp_user;
- 赋予清空权限(清空目的地表):\ GRANT TRUNCATE ON schema_name.table_name TO dp_user;
- 修改表的owner(删除重建表,结构变化)
ALTER TABLE schema_name.table_name OWNER TO dp_user; -- 成为 table 的 OWNER 后,可以拥有 DROP table 的权限。当使用 DataPipeline 的“同步前重建表”的功能时需要此权限
节点特性
数据类型
源支持类型
| 序号 | 官网支持类型 | DP定义的类型 | 是否支持 | pgoutput是否支持 |
|---|---|---|---|---|
| 1 | bigserial | BIGSERIAL | ✔️ | ✔️ |
| 2 | smallint | ❌ | ❌ | |
| 3 | bigint | INT8 | ❌ | ✔️ |
| 4 | decimal | ❌ | ❌ | |
| 5 | double precision | ❌ | ❌ | |
| 6 | smallserial | ❌ | ❌ | |
| 7 | serial | ❌ | ❌ | |
| 8 | int2 | INT2 | ✔️ | ✔️ |
| 9 | int2vector | INT2VECTOR | ✔️ | ✔️ |
| 10 | integer | INT4 | ✔️ | ✔️ |
| 11 | int4range | INT4RANGE | ✔️ | ✔️ |
| 12 | int8 | INT8 | ✔️ | ✔️ |
| 13 | int8range | INT8RANGE | ✔️ | ✔️ |
| 14 | money | MONEY | ✔️ | ✔️ |
| 15 | name | NAME | ✔️ | ✔️ |
| 16 | numeric [ (_p_, _s_) ] | NUMERIC(p, s) | ✔️ | ✔️ |
| 17 | numrange | NUMRANGE | ✔️ | ✔️ |
| 18 | real | REAL | ✔️ | ✔️ |
| 19 | NUMBER(兼容oracle) | ❌ | ||
| 20 | FLOAT[(p)](兼容oracle) | ❌ | ||
| 21 | float4 | FLOAT4 | ✔️ | ✔️ |
| 22 | float8 | FLOAT8 | ✔️ | ✔️ |
| 23 | date | DATE | ✔️ | ✔️ |
| 24 | daterange | DATERANGE | ✔️ | ✔️ |
| 25 | time [ (_p_) ] [ without time zone ] | TIME | ✔️ | ✔️ |
| 26 | timestamp [ (_p_) ] [ without time zone ] | TIMESTAMP | ✔️ | ✔️ |
| 27 | time [ (_p_) ] with time zone | TIMETZ | ✔️ | |
| 28 | timestamp [ (_p_) ] with time zone | TIMESTAMPTZ | ✔️ | |
| 29 | timestampltz | TIMESTAMPLTZ | ✔️ | |
| 30 | tinterval | TINTERVAL | ✔️ | ✔️ |
| 31 | interval [ _fields_] [ (_p_) ] | INTERVAL | ✔️ | ✔️ |
| 32 | INTERVAL YEAR [(year_precision)] TO MONTH(兼容oracle) | ❌ | ||
| 33 | INTERVAL DAY [(day_precision)] TO SECOND [(fractional_seconds_precision)](兼容oracle) | ❌ | ||
| 34 | uuid | UUID | ✔️ | ✔️ |
| 35 | text | TEXT | ✔️ | ✔️ |
| 36 | varchar(n) | VARCHAR(p) | ✔️ | ✔️ |
| 37 | xml | XML | ✔️ | ✔️ |
| 38 | bit [ (_n_) ] | BIT | ✔️ | ✔️ |
| 39 | boolean | BOOL | ✔️ | ✔️ |
| 40 | bytea | BYTEA | ✔️ | ✔️ |
| 41 | bpchar | BPCHAR | ✔️ | |
| 42 | bit varying [ (_n_) ] | VARBIT | ✔️ | ✔️ |
| 43 | json | JSON | ✔️ | ✔️ |
| 44 | jsonb | JSONB | ✔️ | ✔️ |
| 45 | line | LINE | ✔️ | ✔️ |
| 46 | lseg | LSEG | ✔️ | ✔️ |
| 47 | oid | OID | ✔️ | ✔️ |
| 48 | oidvector | OIDVECTOR | ✔️ | ✔️ |
| 49 | path | PATH | ✔️ | ✔️ |
| 50 | pg_lsn | PG_LSN | ✔️ | ✔️ |
| 51 | pg_node_tree | PG_NODE_TREE | ✔️ | ✔️ |
| 52 | point | POINT | ✔️ | ✔️ |
| 53 | polygon | POLYGON | ✔️ | ✔️ |
| 54 | refcursor | REFCURSOR | ✔️ | ✔️ |
| 55 | regclass | REGCLASS | ✔️ | ✔️ |
| 56 | regconfig | REGCONFIG | ✔️ | ✔️ |
| 57 | regdictionary | REGDICTIONARY | ✔️ | ✔️ |
| 58 | regnamespace | REGNAMESPACE | ✔️ | ✔️ |
| 59 | regoper | REGOPER | ✔️ | ✔️ |
| 60 | macaddr | MACADDR | ✔️ | ✔️ |
| 61 | regoperator | REGOPERATOR | ✔️ | ✔️ |
| 62 | regproc | REGPROC | ✔️ | ✔️ |
| 63 | regprocedure | REGPROCEDURE | ✔️ | ✔️ |
| 64 | regrole | REGROLE | ✔️ | ✔️ |
| 65 | regtype | REGTYPE | ✔️ | ✔️ |
| 66 | realtime | RELTIME | ✔️ | ✔️ |
| 67 | smgr | SMGR | ✔️ | ✔️ |
| 68 | tid | TID | ✔️ | ✔️ |
| 69 | cidr | CIDR | ✔️ | ✔️ |
| 70 | inet | INET | ✔️ | ✔️ |
| 71 | tsquery | TSQUERY | ✔️ | ✔️ |
| 72 | tsrange | TSRANGE | ✔️ | ✔️ |
| 73 | tstzrange | TSTZRANGE | ✔️ | ✔️ |
| 74 | tsvector | TSVECTOR | ✔️ | ✔️ |
| 75 | txid_snapshot | TXID_SNAPSHOT | ✔️ | ✔️ |
| 76 | unknown | UNKNOWN | ✔️ | ✔️ |
| 77 | abstime | ABSTIME | ✔️ | ✔️ |
| 78 | aclitem | ACLITEM | ✔️ | ✔️ |
| 79 | box | BOX | ✔️ | ✔️ |
| 80 | cid | CID | ✔️ | ✔️ |
| 81 | xid | XID | ✔️ | ✔️ |
| 82 | gtsvector | GTSVECTOR | ✔️ | ✔️ |
| 83 | circle | CIRCLE | ✔️ | ✔️ |
| 84 | character | CHARACTER | ✔️ | ✔️ |
| 85 | character [ (_n_) ] | ❌ | ||
| 86 | geometry | GEOMETRY | ✔️ | |
| 87 | character varying [ (_n_) ] | CHARACTER VARYING | ✔️ | ✔️ |
| 88 | CHAR [(size [BYTE | CHAR])] (兼容oracle) | ❌ | |
| 89 | NCHAR(兼容oracle) | ❌ | ||
| 90 | _text | _TEXT | ❌ | |
| 91 | VARCHAR2(兼容oracle) | VARCHAR2 | ✔️ | |
| 92 | varchar2(n) | VARCHAR2(size CHAR) | ✔️ | |
| 93 | NVARCHAR2(兼容oracle) | NVARCHAR2(size) | ✔️ | |
| 94 | LONG(兼容oracle) | LONG | ✔️ | |
| 95 | LONG RAW(兼容oracle) | LONG RAW | ✔️ | |
| 96 | raw | RAW | ✔️ | |
| 97 | RAW(size)(兼容oracle) | RAW(p) | ✔️ | |
| 98 | BFILE(兼容oracle) | BFILE | ✔️ | |
| 99 | BLOB(兼容oracle) | BLOB | ✔️ | |
| 100 | CLOB(兼容oracle) | CLOB | ✔️ | |
| 101 | NCLOB(兼容oracle) | NCLOB | ✔️ | |
| 102 | ROWID | ROWID | ✔️ | |
| 103 | UROWID | UROWID | ✔️ | |
| 104 | XMLTYPE | ❌ |
目的地支持类型
| 序号 | 官网支持类型 | DP定义的类型 | 是否支持 |
|---|---|---|---|
| 1 | bigserial | BIGSERIAL | ❌ |
| 2 | smallint | ❌ | ❌ |
| 3 | bigint | ❌ | ❌ |
| 4 | decimal | ❌ | ❌ |
| 5 | double precision | ❌ | ❌ |
| 6 | smallserial | ❌ | ❌ |
| 7 | serial | ❌ | ❌ |
| 8 | int2 | INT2 | ✔️ |
| 9 | int2vector | INT2VECTOR | ✔️ |
| 10 | integer | INT4 | ✔️ |
| 11 | int4range | INT4RANGE | ✔️ |
| 12 | int8 | INT8 | ✔️ |
| 13 | int8range | INT8RANGE | ❌ |
| 14 | money | MONEY | ❌ |
| 15 | name | NAME | ❌ |
| 16 | numeric [ (_p_, _s_) ] | NUMERIC(p, s) | ✔️ |
| 17 | numrange | NUMRANGE | ❌ |
| 18 | text | TEXT | ✔️ |
| 19 | time [ (_p_) ] [ without time zone ] | TIME | ✔️ |
| 20 | timestamp [ (_p_) ] [ without time zone ] | TIMESTAMP | ✔️ |
| 21 | time [ (_p_) ] with time zone | TIMETZ | ✔️ |
| 22 | timestamp [ (_p_) ] with time zone | TIMESTAMPTZ | ✔️ |
| 23 | uuid | UUID | ❌ |
| 24 | varchar(n) | VARCHAR(p) | ✔️ |
| 25 | xml | XML | ✔️ |
| 26 | bit [ (_n_) ] | BIT | ❌ |
| 27 | boolean | BOOL | ✔️ |
| 28 | bytea | BYTEA | ✔️ |
| 29 | bpchar | BPCHAR | ✔️ |
| 30 | date | DATE | ✔️ |
| 31 | daterange | DATERANGE | ❌ |
| 32 | real | REAL | ✔️ |
| 33 | NUMBER(兼容oracle) | ❌ | |
| 34 | FLOAT[(p)](兼容oracle) | ❌ | |
| 35 | float4 | FLOAT4 | ✔️ |
| 36 | FLOAT8 | ✔️ | |
| 37 | BINARY_FLOAT(兼容 oracle) | ❌ | |
| 38 | BINARY_DOUBLE(兼容 oracle) | ❌ | |
| 39 | json | JSON | ❌ |
| 40 | jsonb | JSONB | ❌ |
| 41 | line | LINE | ❌ |
| 42 | lseg | LSEG | ❌ |
| 43 | oid | OID | ❌ |
| 44 | oidvector | OIDVECTOR | ❌ |
| 45 | path | PATH | ❌ |
| 46 | pg_lsn | PG_LSN | ❌ |
| 47 | pg_node_tree | PG_NODE_TREE | ❌ |
| 48 | point | POINT | ❌ |
| 49 | polygon | POLYGON | ❌ |
| 50 | refcursor | REFCURSOR | ❌ |
| 51 | regclass | REGCLASS | ❌ |
| 52 | regconfig | REGCONFIG | ❌ |
| 53 | regdictionary | REGDICTIONARY | ❌ |
| 54 | regnamespace | REGNAMESPACE | ❌ |
| 55 | regoper | REGOPER | ❌ |
| 56 | macaddr | MACADDR | ❌ |
| 57 | regoperator | REGOPERATOR | ❌ |
| 58 | regproc | REGPROC | ❌ |
| 59 | regprocedure | REGPROCEDURE | ❌ |
| 60 | regrole | REGROLE | ❌ |
| 61 | regtype | REGTYPE | ❌ |
| 62 | RELTIME | ❌ | |
| 63 | SMGR | ❌ | |
| 64 | tid | TID | ❌ |
| 65 | TINTERVAL | ❌ | |
| 66 | interval [ _fields_] [ (_p_) ] | INTERVAL | ✔️ |
| 67 | INTERVAL YEAR [(year_precision)] TO MONTH(兼容oracle) | ❌ | |
| 68 | INTERVAL DAY [(day_precision)] TO SECOND [(fractional_seconds_precision)](兼容oracle) | ❌ | |
| 69 | cidr | CIDR | ❌ |
| 70 | inet | INET | ❌ |
| 71 | tsquery | TSQUERY | ❌ |
| 72 | tsrange | TSRANGE | ❌ |
| 73 | tstzrange | TSRANGE | ❌ |
| 74 | tsvector | TSVECTOR | ❌ |
| 75 | bit varying [ (_n_) ] | VARBIT | ✔️ |
| 76 | txid_snapshot | TXID_SNAPSHOT | ❌ |
| 77 | UNKNOWN | ❌ | |
| 78 | ABSTIME | ❌ | |
| 79 | aclitem | ACLITEM | ❌ |
| 80 | box | BOX | ❌ |
| 81 | cid | CID | ❌ |
| 82 | xid | XID | ❌ |
| 83 | gtsvector | GTSVECTOR | ❌ |
| 84 | circle | CIRCLE | ❌ |
| 85 | character | CHARACTER | ✔️ |
| 86 | character [ (_n_) ] | ❌ | |
| 87 | GEOMETRY | ❌ | |
| 88 | character varying [ (_n_) ] | CHARACTER VARYING | ❌ |
| 89 | CHAR [(size [BYTE | CHAR])] (兼容oracle) | |
| 90 | NCHAR(兼容oracle) | ❌ | |
| 91 | _TEXT | ❌ | |
| 92 | _INT2 | ❌ | |
| 93 | VARCHAR2(兼容oracle) | VARCHAR2 | ❌ |
| 94 | VARCHAR2(size CHAR) | ❌ | |
| 95 | NVARCHAR2(兼容oracle) | NVARCHAR2(size) | ❌ |
| 96 | LONG(兼容oracle) | LONG | ❌ |
| 97 | LONG RAW(兼容oracle) | LONG RAW | ❌ |
| 98 | TIMESTAMPLTZ | ❌ | |
| 99 | RAW | ❌ | |
| 100 | RAW(size)(兼容oracle) | RAW(p) | ❌ |
| 101 | BFILE(兼容oracle) | BFILE | ❌ |
| 102 | BLOB(兼容oracle) | BLOB | ❌ |
| 103 | CLOB(兼容oracle) | CLOB | ❌ |
| 104 | NCLOB(兼容oracle) | NCLOB | ❌ |
| 105 | ROWID(兼容oracle) | ROWID | ❌ |
| 106 | UROWID(兼容oracle) | UROWID | ❌ |
| 107 | XMLTYPE | ❌ |
说明:由于pg类型的数据库较为灵活,因此有部分字段类型官网没有,但是通过JDBC驱动查询时,可以查询出来。因此DP支持的字段类型会有部分在官网上没有更新。
DML
读取
| 读取模式 | DML识别 | 捕获信息 | 限制 |
|---|---|---|---|
| JDBC | INSERT | 源端读取支持的所有上述字段类型 | 【限制】不支持列筛选 |
| wal2json | insert | 源端读取支持的所有上述字段类型 | 【限制】不支持列筛选 【限制】无主键的表,捕获不到D类型的记录;U类型捕获只有after有值,before都是null(有些时候U也捕获不到,是复制槽的限制,可以消费复制槽验证) 想要捕获全部信息,需要REPLICA IDENTITY属性设置为FULL(同样适用于有主键表想捕获全部列) -- 查级别,查出来的可能是缩写,只有首字母 SELECT n.nspname,c.relname,relreplident FROM pg_catalog.pg_class c LEFT JOIN pg_catalog.pg_namespace n ON c.relnamespace=n.oid where c.relname = 'heh_0714' -- 修改级别 ALTER TABLE heh_0714 REPLICA IDENTITY FULL ![]() |
| update | 源端读取支持的所有上述字段类型 | ||
| delete | 源端读取支持的所有上述字段类型 | ||
| pgoutput | insert | 源端读取支持的所有上述字段类型 | 【限制】不支持列投影 【限制】无法捕获到TOAST字段 在 PostgreSQL 中, tost 其实是指 TOAST(The Oversized-Attribute Storage Technique)。这是 PostgreSQL 用来存储大数据字段的机制。TOAST 是 PostgreSQL 在存储大型字段(如 TEXT、BYTEA 和 JSONB 等大对象)时的一种技术,允许将过大的数据分割为块并压缩,以便更高效地存储和访问。简单来说,TOAST 字段就是超过某个阈值的字段数据,它们在数据库内部经过分块和压缩处理【限制】无主键的表,捕获不到D类型的记录;U类型捕获只有after有值,before都是null(有些时候U也捕获不到,是复制槽的限制,可以消费复制槽验证) 想要捕获全部信息,需要REPLICA IDENTITY属性设置为FULL(同样适用于有主键表想捕获全部列) -- 查级别,查出来的可能是缩写,只有首字母 SELECT n.nspname,c.relname,relreplident FROM pg_catalog.pg_class c LEFT JOIN pg_catalog.pg_namespace n ON c.relnamespace=n.oid where c.relname = 'heh_0714' -- 修改级别 ALTER TABLE heh_0714 REPLICA IDENTITY FULL |
| update | 源端读取支持的所有上述字段类型 | ||
| delete | 源端读取支持的所有上述字段类型 |
写入
| 写入策略 | 写入SQL语法 | 限制 |
|---|---|---|
| INSERT | INSERT INTO ... VALUES ... | |
| UPDATE | UPDATE... SET... WHERE ... | 需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。 【限制】当源端采集不完整,目的主键列 源端采集不到,会存在最终数据不一致情况,因为拿null去更新数据(不是因为真实值为null,是因为采集不完整) 当更新条件中存在值为null时,会做特殊处理。 更新条件的字段为空:update 表名 set 字段 value where 更新条件 is null; 更新条件的字段为空:update 表名 set 字段 value where 更新条件 in value; 示例: plain UPDATE "database_name"."public"."t1" SET "col1"=?,"col2"=? WHERE "id1" IS NULL AND "id"=? |
| DELETE | set enable_indexscan = on; set enable_seqscan = off; DELETE FROM... WHERE ... | 需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。 原因同上: 当更新条件中存在值为null时,会做特殊处理。 1. 更新条件的字段为空:delete from 表名 where 更新条件 is null; 2. 更新条件的字段不为空:delete from 表名 where 更新条件的字段 in (value); plain DELETE FROM "database_name"."public"."t1" WHERE "id1" IS NULL AND ("id") in (('1')) |
| MERGE | 其他版本+ 部分更新(oracle未开启补全),upadte | |
| 其他版本 1)主键变更: delete+ insert 2)非主键变更: INSERT INTO ...VALUES ... ON CONFLICT ... DO UPDATE SET... | ||
| IGNORE |
DDL
读取
由于解析是通过wal2json,而wal2json中没有DDL信息,因此,实际上DDL是靠结构比对捕获的,因此,需要增量数据触发diff。
| DDL类型 | JDBC是否支持获取 | wal2json是否支持 | 上游触发场景 | 支持处理的内容 |
|---|---|---|---|---|
| add column | ✔️ | ✔️ | 1. 源端加列 2. JDBC模式下,源端rename列–rename后的列识别为新增列 【限制】不支持移位DDL,即不支持after,first等 | 名称、类型、精度、标度、默认值、注释、not null |
| drop column | ✔️ | ✔️ | 1. 源端加列 2. JDBC模式下,源端rename列–rename后的列识别为新增列 | |
| modify column | ✔️ | ✔️ | 源端修改类型,精度,标度 | 类型、精度、标度、默认值、注释、not null |
| rename column | ❌ | ❌ | 【限制】不支持,会识别为删除列+新增列(风险❗️) 【限制】wal2json不支持rename | |
| drop table | ✔️ | ❌ | 源表被删除或者源表被rename 【说明】当JDBC读取的时候,会检测到待同步的表不存在。 | |
| truncate table | ❌ | ❌ | 不支持 | |
| create table | ❌ | ❌ | 当前不支持 | |
| rename table | ❌ | ❌ | 不支持,会被识别为drop table |
写入
| DDL类型 | 是否支持 | 限制 |
|---|---|---|
| truncate table | ✔️ | |
| drop table | ✔️ | |
| truncate partition | ❌ | |
| drop partition | ❌ | |
| add column | ✔️ | 【限制】不支持移位DDL,即不支持after,first等 |
| drop column | ✔️ | |
| modify column | ✔️ | 【限制】1、其他未支持的属性,结构变化后映射可能会有diff 【限制】2、修改列的数据类型,并且新类型与旧类型不兼容时,需要使用 USING 子句,此种场景暂不支持 |
| rename column | ✔️ | 【限制】其他未支持的属性,结构变化后映射可能会有diff |
索引
PostgreSQL 当前支持在创建目的表时,可以创建索引,目前支持的索引类型及配置
| 索引类型 | 索引存储方式 | 排序 |
|---|---|---|
| 普通索引 | Hash 、Btree | 支持配置 |
| 唯一索引 | Btree | 支持配置 |
| 主键索引 | Btree | 不支持配置,默认为升序 |
添加 TDSQL PostgreSQL 节点操作步骤
新建弹窗界面选择了 PostgreSQL 节点类型之后,显示 PostgreSQL 的基本信息配置模板:
- 版本:选择版本
- 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或datapipeline.com
- 端口:输入连接数据节点的端口值
- 数据库名称:要求连接数据库的名称
- Schema 目录:要求输入数据节点读取目录地址
- 选项一:public(默认)
- 选项二:用户可输入自定义选项
- 允许输入多个 Schema,多个 Schema 可用英文逗号分隔
- 用户名和密码:输入可访问该数据节点的用户名和密码
- 节点参数
| 参数 | 默认值 | 影响兼容模式 | 使用说明 |
|---|---|---|---|
| USE_SYSTEM_INDEX_DESC_TABLE | false | pg兼容模式和oracle兼容模式 | 如果需要使用分区表必须配置true!!为了性能默认是false,使用分区表不设置true的话会查不到元数据 |
| nls_date_format | YYYY-MM-DD HH24:mm:ss | oracle兼容模式 | 如果使用oracle兼容模式且需要使用date类型,必须配置YYYY-MM-DD;如果使用oracle兼容模式且需使用YYYY-MM-DD HH:mm:ss格式,请使用TimeStamp格式 |
节点限制:
wal2json的实现机制,是开启了复制槽后,会定期的flush lsn ,通知数据库,这一批已经处理完了。这个时候,数据库会根据返回的信息,定期处理和回收日志,因此pg系的对于wal2json的同步方式,指定LSN的预期将很难确定,无法确认数据库回收了多少,举例,复制槽开始时是100,系统复制到了10000,这个时候可能日志回收被处理的是100-10000之间的一个值,然后如果指定了一个小于10000的数,如果启动时没有被回收则从该点继续读,如果回收了,则从最小的开始读,因此这个功能对于用户而言预期和实际有很大的偏差,对于该节点,只能提供暂停时进度,激活时间为起点,这两个起点设置,暂不支持指定起点的功能。
TDSQL PostgreSQL 节点策略说明
在节点策略的「日志补全校验策略」中,用户可选择强校验模式。
开启后,系统会在任务激活或重启前,自动检查当前实际同步表的日志补全状态。
若检查结果为非 FULL、结果未知或查询失败,均直接阻断任务启动,避免因权限不足或日志补全缺失导致增量数据捕获不完整、更新前镜像丢失等风险。
