跳到主要内容
版本:v5.13

版本说明

支持TDSQL PostgreSQL的版本如下:

  1. 数据源节点 JDBC 模式支持 5.21.x 版本
  2. 数据源节点 wal2json 模式支持 5.21.x 版本
  3. 数据源节点 pgoutput 模式支持 5.21.x 版本
  4. 数据源节点 PostgreSQL WAL Agent 模式支持 5.21.x 版本
  5. 目的地节点 JDBC 模式支持 5.21.x 版本

约束及限制

  1. 模式 _int2 类型暂不支持读取
  2. wal2json 模式不支持同步视图
  3. 实时同步时,无主键的表,捕获不到D类型的记录;U类型捕获只有after有值,before都是null
  4. 当源端采集不完整,目的主键列 源端采集不到,会存在最终数据不一致情况,因为拿null去更新数据(不是因为真实值为null,是因为采集不完整)当更新条件中存在值为null时,会做特殊处理
  5. 实时同步时,增量delete/update需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键
  6. JDBC模式下,增量的rename column操作会被拆解为drop column & add column

读取方式

Datapipeline 读取 TDSQL PostgreSQL 数据库支持三种读取方式:JDBC 、wal2json 和pgoutput

JDBC读取方式​

  1. 支持场景:增量同步、全量同步

权限要求​

  1. 赋予查询权限:

GRANT SELECT ON schema_name.table_name TO dp_user;

  1. 赋予schema的使用权限:

GRANT USAGE ON SCHEMA public TO dp_user;

wal2json读取方式​

注意:PostgreSQL - wal2json 插件需满足实时同步

  1. 支持场景:增量同步、全量同步

权限要求​

  1. 用户角色要求:需 PostgreSQL replication 角色、PostgreSQL login 角色
  2. 同步表权限:需 select / update 权限
  3. 日志补全权限:当使用逻辑复制时,节点策略开启「日志补全校验策略」后,任务启动会检测同步表的日志补全权限,需要设置为FULL

pgoutput读取方式​

注意:PostgreSQL - pgoutput 插件需满足实时同步

  1. 支持场景:增量同步、全量同步

权限要求​

  1. 用户角色要求:需 PostgreSQL replication 角色、PostgreSQL login 角色
  2. 同步表权限:需 select / update 权限、publication的创建权限、表的owner权限、schema的使用权限
  3. 日志补全权限:当使用逻辑复制时,节点策略开启「日志补全校验策略」后,任务启动会检测同步表的日志补全权限,需要设置为FULL

PostgreSQL WAL Agent 读取方式​

支持场景​

  1. 物理日志采集
  2. 支持全量与增量衔接
  3. 任务起点配置及故障续传等关键能力
  4. 完整支持已有的 DML与DDL读取,确保数据变更与结构变更均可正常捕获同步

权限要求​

  1. NOSUPERUSER + REPLICATION,可登录并连接目标库
  2. 从 Agent 地址认证,执行 IDENTIFY_SYSTEM 并读取所需连续物理 WAL
  3. 查询 pg_control_system()、pg_control_checkpoint()、pg_roles、pg_database、系统目录、pg_locks 及初始化需要的事务/主备/WAL 信息。
  4. 目标 schema 的 USAGE、所选表的 SELECT,以及目标数据库 CONNECT。
  5. full_page_writes 开启且 checkpoint/WAL 证据有效;所需原生日志连续且保留充分。这些是数据库运行条件,不是账号提权要求。未知格式、缺页/缺日志和不一致证据应阻断。

物理复制槽、WAL 保留与 Agent checkpoint 相关说明​

一句话理解​

物理复制槽是源库侧可选的 WAL 保留手段,用来降低 Agent 断线、停机或落后时所需 WAL 被过早清理的风险;它不是物理解析的必要条件,也不能替代 Agent 自己的 checkpoint、本地 WAL spool 和恢复状态。

Agent 自行解析原始 WAL、页、目录和事务,不依赖 pgoutput、wal2json 或每任务逻辑复制槽。

说明:原生 PostgreSQL 物理取流命令允许省略 SLOT,例如 START_REPLICATION PHYSICAL <LSN> TIMELINE <timeline> 或 START_REPLICATION SLOT <slot_name> PHYSICAL <LSN> TIMELINE <timeline>。这些写法仅用于说明原生 PG 协议;GaussDB/openGauss、TDSQL、GBase8c 等商业内核须由对应客户端适配器生成命令,不能手工套用同一语法。

复制槽、本地 spool 与 checkpoint 的职责分工​

组件作用不能替代什么
源库物理复制槽在源库维护 WAL 保留进度。restart_lsn
表示仍可能被消费者需要的最早 WAL 位置。
不保存 Agent 的页面底稿、历史结构、活动事务、outbox 或 Kafka 投递确认;不能当作任务消费 offset 或完整 Agent 恢复点。
Agent 本地 WAL spool保存已接收并可靠落盘的原始 WAL,供本地连续重放。不能接收 Agent 停机期间尚未传来的 WAL,不能代替源端保留。
Agent checkpoint 与本地持久状态保存源身份、timeline、精确记录起止位置、解析所需页和目录状态、未完成事务,以及输出与确认状态;分布式场景还保存各 DN 位置向量及协调状态。不要求源库自动替 Agent 保留全部需要的 WAL。
源数据库自己的 CHECKPOINT数据库刷页及崩溃恢复所需,也是建立初始 WAL 恢复边界的证据之一。不是 Agent 的解析与业务投递 checkpoint。

需要注意:pg_replication_slots 中物理槽的 confirmed_flush_lsn 为空,该字段属于逻辑槽;不能用逻辑槽字段判断物理 Agent 是否处理完成。

使用与不使用物理复制槽的取舍​

对比项不使用物理复制槽使用物理复制槽
断线期间 WAL依赖源库日志保留窗口,或 Agent 可访问、可识别的归档;超出窗口可能缺失日志。按槽进度保留仍需接收的 WAL,增强断线和落后后的续读保障,但仍受实际保留上限约束。
源库磁盘没有该 Agent 的槽持续钉住旧 WAL;仍有正常 WAL、归档等空间开销。Agent 长期落后、停机或槽遗留时,可能持续占用 pg_wal。
运维需要规划中断和追赶期间的日志覆盖范围。还需管理槽的监控、保留上限、生命周期,以及数据库切换后的可用性。
Agent 本地恢复仍要保存 checkpoint、spool 和恢复依赖。同样要保存;槽不会替 Agent 保存解析或投递状态。
能解决什么不引入槽占用;适合日志保留窗口可控、断线时间可控的场景。降低源库过早回收所需 WAL 的风险。
不能解决什么超出日志保留窗口后仍可能无法续读。不能保证任意时长断线都能续传,不能替代本地状态,不能恢复已被回收的历史 WAL。

PostgreSQL 的 wal_keep_size、归档和复制槽都可参与日志保留,但保障方式不同。max_slot_wal_keep_size 可以限制槽造成的 WAL 保留量;达到限制后,所需日志仍可能被清理。因此不能同时承诺“磁盘严格有界”和“任意时长断线均可续传”。

如何选择​

  • 不使用复制槽:适用于源库日志保留窗口和归档可覆盖预期断线时长、运维可接受日志缺口风险的场景。必须监控日志保留覆盖范围。
  • 使用复制槽:适用于希望增强断线、停机、落后后的续读保障的场景。必须同时监控槽状态、restart_lsn、WAL 保留量和生命周期。
  • 无论是否使用复制槽:Agent 都必须保存 checkpoint、本地 WAL spool 和恢复依赖。复制槽只影响源端 WAL 保留,不影响 Agent 本地解析与投递状态的完整性。

示例:Agent 在某位置停止后,源库继续产生 WAL。如果重启所需区间既不在本地 spool,也已不在源库或可读取归档中,即使 checkpoint 完整也不能续读。此时应保留恢复状态并报告日志缺口,不能静默跳到 latest。后来新建物理槽也不能恢复已经被回收的历史 WAL。

写入方式

JDBC写入方式​

权限要求​

  1. 赋予在该schema下创建表的权限(创建表):

GRANT CREATE ON SCHEMA schema_name TO dp_user;

  1. 赋予schema的使用权限(任务运行,读取写入权限):

GRANT USAGE ON SCHEMA schema_name TO dp_user;

GRANT SELECT ON schema_name.table_name TO dp_user;

  1. 赋予写入权限(表的增删改查权限):

GRANT SELECT,INSERT,UPDATE,DELETE ON schema_name.table_name TO dp_user;

  1. 赋予清空权限(清空目的地表):\ GRANT TRUNCATE ON schema_name.table_name TO dp_user;
  2. 修改表的owner(删除重建表,结构变化)

ALTER TABLE schema_name.table_name OWNER TO dp_user; -- 成为 table 的 OWNER 后,可以拥有 DROP table 的权限。当使用 DataPipeline 的“同步前重建表”的功能时需要此权限

节点特性

数据类型​

源支持类型​

序号官网支持类型DP定义的类型是否支持pgoutput是否支持
1bigserialBIGSERIAL✔️✔️
2smallint❌❌
3bigintINT8❌✔️
4decimal❌❌
5double precision❌❌
6smallserial❌❌
7serial❌❌
8int2INT2✔️✔️
9int2vectorINT2VECTOR✔️✔️
10integerINT4✔️✔️
11int4rangeINT4RANGE✔️✔️
12int8INT8✔️✔️
13int8rangeINT8RANGE✔️✔️
14moneyMONEY✔️✔️
15nameNAME✔️✔️
16numeric [ (_p_, _s_) ]NUMERIC(p, s)✔️✔️
17numrangeNUMRANGE✔️✔️
18realREAL✔️✔️
19NUMBER(兼容oracle)❌
20FLOAT[(p)](兼容oracle)❌
21float4FLOAT4✔️✔️
22float8FLOAT8✔️✔️
23dateDATE✔️✔️
24daterangeDATERANGE✔️✔️
25time [ (_p_) ] [ without time zone ]TIME✔️✔️
26timestamp [ (_p_) ] [ without time zone ]TIMESTAMP✔️✔️
27time [ (_p_) ] with time zoneTIMETZ✔️
28timestamp [ (_p_) ] with time zoneTIMESTAMPTZ✔️
29timestampltzTIMESTAMPLTZ✔️
30tintervalTINTERVAL✔️✔️
31interval [ _fields_] [ (_p_) ]INTERVAL✔️✔️
32INTERVAL YEAR [(year_precision)] TO MONTH(兼容oracle)❌
33INTERVAL DAY [(day_precision)] TO SECOND [(fractional_seconds_precision)](兼容oracle)❌
34uuidUUID✔️✔️
35textTEXT✔️✔️
36varchar(n)VARCHAR(p)✔️✔️
37xmlXML✔️✔️
38bit [ (_n_) ]BIT✔️✔️
39booleanBOOL✔️✔️
40byteaBYTEA✔️✔️
41bpcharBPCHAR✔️
42bit varying [ (_n_) ]VARBIT✔️✔️
43jsonJSON✔️✔️
44jsonbJSONB✔️✔️
45lineLINE✔️✔️
46lsegLSEG✔️✔️
47oidOID✔️✔️
48oidvectorOIDVECTOR✔️✔️
49pathPATH✔️✔️
50pg_lsnPG_LSN✔️✔️
51pg_node_treePG_NODE_TREE✔️✔️
52pointPOINT✔️✔️
53polygonPOLYGON✔️✔️
54refcursorREFCURSOR✔️✔️
55regclassREGCLASS✔️✔️
56regconfigREGCONFIG✔️✔️
57regdictionaryREGDICTIONARY✔️✔️
58regnamespaceREGNAMESPACE✔️✔️
59regoperREGOPER✔️✔️
60macaddrMACADDR✔️✔️
61regoperatorREGOPERATOR✔️✔️
62regprocREGPROC✔️✔️
63regprocedureREGPROCEDURE✔️✔️
64regroleREGROLE✔️✔️
65regtypeREGTYPE✔️✔️
66realtimeRELTIME✔️✔️
67smgrSMGR✔️✔️
68tidTID✔️✔️
69cidrCIDR✔️✔️
70inetINET✔️✔️
71tsqueryTSQUERY✔️✔️
72tsrangeTSRANGE✔️✔️
73tstzrangeTSTZRANGE✔️✔️
74tsvectorTSVECTOR✔️✔️
75txid_snapshotTXID_SNAPSHOT✔️✔️
76unknownUNKNOWN✔️✔️
77abstimeABSTIME✔️✔️
78aclitemACLITEM✔️✔️
79boxBOX✔️✔️
80cidCID✔️✔️
81xidXID✔️✔️
82gtsvectorGTSVECTOR✔️✔️
83circleCIRCLE✔️✔️
84characterCHARACTER✔️✔️
85character [ (_n_) ]❌
86geometryGEOMETRY✔️
87character varying [ (_n_) ]CHARACTER VARYING✔️✔️
88CHAR [(size [BYTECHAR])] (兼容oracle)❌
89NCHAR(兼容oracle)❌
90_text_TEXT❌
91VARCHAR2(兼容oracle)VARCHAR2✔️
92varchar2(n)VARCHAR2(size CHAR)✔️
93NVARCHAR2(兼容oracle)NVARCHAR2(size)✔️
94LONG(兼容oracle)LONG✔️
95LONG RAW(兼容oracle)LONG RAW✔️
96rawRAW✔️
97RAW(size)(兼容oracle)RAW(p)✔️
98BFILE(兼容oracle)BFILE✔️
99BLOB(兼容oracle)BLOB✔️
100CLOB(兼容oracle)CLOB✔️
101NCLOB(兼容oracle)NCLOB✔️
102ROWIDROWID✔️
103UROWIDUROWID✔️
104XMLTYPE❌

目的地支持类型​

序号官网支持类型DP定义的类型是否支持
1bigserialBIGSERIAL❌
2smallint❌❌
3bigint❌❌
4decimal❌❌
5double precision❌❌
6smallserial❌❌
7serial❌❌
8int2INT2✔️
9int2vectorINT2VECTOR✔️
10integerINT4✔️
11int4rangeINT4RANGE✔️
12int8INT8✔️
13int8rangeINT8RANGE❌
14moneyMONEY❌
15nameNAME❌
16numeric [ (_p_, _s_) ]NUMERIC(p, s)✔️
17numrangeNUMRANGE❌
18textTEXT✔️
19time [ (_p_) ] [ without time zone ]TIME✔️
20timestamp [ (_p_) ] [ without time zone ]TIMESTAMP✔️
21time [ (_p_) ] with time zoneTIMETZ✔️
22timestamp [ (_p_) ] with time zoneTIMESTAMPTZ✔️
23uuidUUID❌
24varchar(n)VARCHAR(p)✔️
25xmlXML✔️
26bit [ (_n_) ]BIT❌
27booleanBOOL✔️
28byteaBYTEA✔️
29bpcharBPCHAR✔️
30dateDATE✔️
31daterangeDATERANGE❌
32realREAL✔️
33NUMBER(兼容oracle)❌
34FLOAT[(p)](兼容oracle)❌
35float4FLOAT4✔️
36FLOAT8✔️
37BINARY_FLOAT(兼容 oracle)❌
38BINARY_DOUBLE(兼容 oracle)❌
39jsonJSON❌
40jsonbJSONB❌
41lineLINE❌
42lsegLSEG❌
43oidOID❌
44oidvectorOIDVECTOR❌
45pathPATH❌
46pg_lsnPG_LSN❌
47pg_node_treePG_NODE_TREE❌
48pointPOINT❌
49polygonPOLYGON❌
50refcursorREFCURSOR❌
51regclassREGCLASS❌
52regconfigREGCONFIG❌
53regdictionaryREGDICTIONARY❌
54regnamespaceREGNAMESPACE❌
55regoperREGOPER❌
56macaddrMACADDR❌
57regoperatorREGOPERATOR❌
58regprocREGPROC❌
59regprocedureREGPROCEDURE❌
60regroleREGROLE❌
61regtypeREGTYPE❌
62RELTIME❌
63SMGR❌
64tidTID❌
65TINTERVAL❌
66interval [ _fields_] [ (_p_) ]INTERVAL✔️
67INTERVAL YEAR [(year_precision)] TO MONTH(兼容oracle)❌
68INTERVAL DAY [(day_precision)] TO SECOND [(fractional_seconds_precision)](兼容oracle)❌
69cidrCIDR❌
70inetINET❌
71tsqueryTSQUERY❌
72tsrangeTSRANGE❌
73tstzrangeTSRANGE❌
74tsvectorTSVECTOR❌
75bit varying [ (_n_) ]VARBIT✔️
76txid_snapshotTXID_SNAPSHOT❌
77UNKNOWN❌
78ABSTIME❌
79aclitemACLITEM❌
80boxBOX❌
81cidCID❌
82xidXID❌
83gtsvectorGTSVECTOR❌
84circleCIRCLE❌
85characterCHARACTER✔️
86character [ (_n_) ]❌
87GEOMETRY❌
88character varying [ (_n_) ]CHARACTER VARYING❌
89CHAR [(size [BYTECHAR])] (兼容oracle)
90NCHAR(兼容oracle)❌
91_TEXT❌
92_INT2❌
93VARCHAR2(兼容oracle)VARCHAR2❌
94VARCHAR2(size CHAR)❌
95NVARCHAR2(兼容oracle)NVARCHAR2(size)❌
96LONG(兼容oracle)LONG❌
97LONG RAW(兼容oracle)LONG RAW❌
98TIMESTAMPLTZ❌
99RAW❌
100RAW(size)(兼容oracle)RAW(p)❌
101BFILE(兼容oracle)BFILE❌
102BLOB(兼容oracle)BLOB❌
103CLOB(兼容oracle)CLOB❌
104NCLOB(兼容oracle)NCLOB❌
105ROWID(兼容oracle)ROWID❌
106UROWID(兼容oracle)UROWID❌
107XMLTYPE❌

说明:由于pg类型的数据库较为灵活,因此有部分字段类型官网没有,但是通过JDBC驱动查询时,可以查询出来。因此DP支持的字段类型会有部分在官网上没有更新。

DML​

读取​

读取模式DML识别捕获信息限制
JDBCINSERT源端读取支持的所有上述字段类型【限制】不支持列筛选
wal2jsoninsert源端读取支持的所有上述字段类型【限制】不支持列筛选
【限制】无主键的表,捕获不到D类型的记录;U类型捕获只有after有值,before都是null(有些时候U也捕获不到,是复制槽的限制,可以消费复制槽验证)
想要捕获全部信息,需要REPLICA IDENTITY属性设置为FULL(同样适用于有主键表想捕获全部列)
-- 查级别,查出来的可能是缩写,只有首字母
SELECT n.nspname,c.relname,relreplident FROM pg_catalog.pg_class c LEFT JOIN pg_catalog.pg_namespace n ON c.relnamespace=n.oid where c.relname = 'heh_0714'
-- 修改级别
ALTER TABLE heh_0714 REPLICA IDENTITY FULL
update源端读取支持的所有上述字段类型
delete源端读取支持的所有上述字段类型
pgoutputinsert源端读取支持的所有上述字段类型【限制】不支持列投影
【限制】无法捕获到TOAST字段
在 PostgreSQL 中,tost 其实是指 TOAST(The Oversized-Attribute Storage Technique)。这是 PostgreSQL 用来存储大数据字段的机制。TOAST 是 PostgreSQL 在存储大型字段(如 TEXT、BYTEA 和 JSONB 等大对象)时的一种技术,允许将过大的数据分割为块并压缩,以便更高效地存储和访问。简单来说,TOAST 字段就是超过某个阈值的字段数据,它们在数据库内部经过分块和压缩处理
【限制】无主键的表,捕获不到D类型的记录;U类型捕获只有after有值,before都是null(有些时候U也捕获不到,是复制槽的限制,可以消费复制槽验证)
想要捕获全部信息,需要REPLICA IDENTITY属性设置为FULL(同样适用于有主键表想捕获全部列)
-- 查级别,查出来的可能是缩写,只有首字母
SELECT n.nspname,c.relname,relreplident FROM pg_catalog.pg_class c LEFT JOIN pg_catalog.pg_namespace n ON c.relnamespace=n.oid where c.relname = 'heh_0714'
-- 修改级别
ALTER TABLE heh_0714 REPLICA IDENTITY FULL


update源端读取支持的所有上述字段类型
delete源端读取支持的所有上述字段类型

写入​

写入策略写入SQL语法限制
INSERTINSERT INTO ... VALUES ...
UPDATEUPDATE... SET... WHERE ...需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
【限制】当源端采集不完整,目的主键列 源端采集不到,会存在最终数据不一致情况,因为拿null去更新数据(不是因为真实值为null,是因为采集不完整)
当更新条件中存在值为null时,会做特殊处理。
更新条件的字段为空:update 表名 set 字段 value where 更新条件 is null;
更新条件的字段为空:update 表名 set 字段 value where 更新条件 in value;
示例:
plain UPDATE "database_name"."public"."t1" SET "col1"=?,"col2"=? WHERE "id1" IS NULL AND "id"=?
DELETEset enable_indexscan = on;
set enable_seqscan = off;
DELETE FROM... WHERE ...
需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
原因同上:
当更新条件中存在值为null时,会做特殊处理。
1. 更新条件的字段为空:delete from 表名 where 更新条件 is null;
2. 更新条件的字段不为空:delete from 表名 where 更新条件的字段 in (value);
plain DELETE FROM "database_name"."public"."t1" WHERE "id1" IS NULL AND ("id") in (('1'))
MERGE其他版本+ 部分更新(oracle未开启补全),upadte
其他版本
1)主键变更: delete+ insert
2)非主键变更:
INSERT INTO ...VALUES ...
ON CONFLICT ... DO UPDATE SET...
IGNORE

DDL​

读取​

由于解析是通过wal2json,而wal2json中没有DDL信息,因此,实际上DDL是靠结构比对捕获的,因此,需要增量数据触发diff。

DDL类型JDBC是否支持获取wal2json是否支持上游触发场景支持处理的内容
add column✔️✔️1. 源端加列
2. JDBC模式下,源端rename列–rename后的列识别为新增列
【限制】不支持移位DDL,即不支持after,first等
名称、类型、精度、标度、默认值、注释、not null
drop column✔️✔️1. 源端加列
2. JDBC模式下,源端rename列–rename后的列识别为新增列
modify column✔️✔️源端修改类型,精度,标度类型、精度、标度、默认值、注释、not null
rename column❌❌【限制】不支持,会识别为删除列+新增列(风险❗️)
【限制】wal2json不支持rename
drop table✔️❌源表被删除或者源表被rename
【说明】当JDBC读取的时候,会检测到待同步的表不存在。
truncate table❌❌不支持
create table❌❌当前不支持
rename table❌❌不支持,会被识别为drop table

写入​

DDL类型是否支持限制
truncate table✔️
drop table✔️
truncate partition❌
drop partition❌
add column✔️【限制】不支持移位DDL,即不支持after,first等
drop column✔️
modify column✔️【限制】1、其他未支持的属性,结构变化后映射可能会有diff
【限制】2、修改列的数据类型,并且新类型与旧类型不兼容时,需要使用 USING 子句,此种场景暂不支持
rename column✔️【限制】其他未支持的属性,结构变化后映射可能会有diff

索引​

PostgreSQL 当前支持在创建目的表时,可以创建索引,目前支持的索引类型及配置

索引类型索引存储方式排序
普通索引Hash 、Btree支持配置
唯一索引Btree支持配置
主键索引Btree不支持配置,默认为升序

添加 TDSQL PostgreSQL 节点操作步骤

新建弹窗界面选择了 PostgreSQL 节点类型之后,显示 PostgreSQL 的基本信息配置模板:

  • 版本:选择版本
  • 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或datapipeline.com
  • 端口:输入连接数据节点的端口值
  • 数据库名称:要求连接数据库的名称
  • Schema 目录:要求输入数据节点读取目录地址
    • 选项一:public(默认)
    • 选项二:用户可输入自定义选项
    • 允许输入多个 Schema,多个 Schema 可用英文逗号分隔
  • 用户名和密码:输入可访问该数据节点的用户名和密码
  • 节点参数
参数默认值影响兼容模式使用说明
USE_SYSTEM_INDEX_DESC_TABLEfalsepg兼容模式和oracle兼容模式如果需要使用分区表必须配置true!!为了性能默认是false,使用分区表不设置true的话会查不到元数据
nls_date_formatYYYY-MM-DD HH24:mm:ssoracle兼容模式如果使用oracle兼容模式且需要使用date类型,必须配置YYYY-MM-DD;如果使用oracle兼容模式且需使用YYYY-MM-DD HH:mm:ss格式,请使用TimeStamp格式

节点限制:​

wal2json的实现机制,是开启了复制槽后,会定期的flush lsn ,通知数据库,这一批已经处理完了。这个时候,数据库会根据返回的信息,定期处理和回收日志,因此pg系的对于wal2json的同步方式,指定LSN的预期将很难确定,无法确认数据库回收了多少,举例,复制槽开始时是100,系统复制到了10000,这个时候可能日志回收被处理的是100-10000之间的一个值,然后如果指定了一个小于10000的数,如果启动时没有被回收则从该点继续读,如果回收了,则从最小的开始读,因此这个功能对于用户而言预期和实际有很大的偏差,对于该节点,只能提供暂停时进度,激活时间为起点,这两个起点设置,暂不支持指定起点的功能。

TDSQL PostgreSQL 节点策略说明​

信息

在节点策略的「日志补全校验策略」中,用户可选择强校验模式。

开启后,系统会在任务激活或重启前,自动检查当前实际同步表的日志补全状态。

若检查结果为非 FULL、结果未知或查询失败,均直接阻断任务启动,避免因权限不足或日志补全缺失导致增量数据捕获不完整、更新前镜像丢失等风险。