跳到主要内容
版本:v5.5

版本说明

  1. 数据源 JDBC 模式支持 KingbaseES V8、V9版本;
  2. 数据源Decoderbufs 模式支持KingbaseES V8、V9版本,不支持 只读库;
  3. 目的地 JDBC 模式支持 KingbaseES V8、V9版本。

读取方式

读取方式场景权限要求对应功能
JDBC批量同步场景,全量初始化1、赋予查询权限:
GRANT SELECT ON dp_schema.dp_src_table to dp_heh;
2、赋予schema的使用权限:
GRANT USAGE ON SCHEMA dp_schema TO dp_heh;
1、选表,读取数据
2、任务运行,读取权限
Decoderbufs增量监听场景1、赋予复制权限(Decoderbufs读取):ALTER USER dp_heh REPLICATION;
2、赋予schema的使用权限:
GRANT USAGE ON SCHEMA dp_schema TO dp_heh;
3、同步表的查询权限
GRANT SELECT ON dp_schema.dp_src_table to dp_heh;



1、Decoderbufs 增量读取
2、任务运行,读取权限

数据库配置相关: kingbase.conf 和 sys_hba.conf

1、kingbase.conf中必须配置逻辑复制级别、复制槽个数等配置

2、sys_hba.conf中,控制权限,当报错中包含sys_hba.conf时,需要检查对应配置文件。

如果需要逻辑复制,必须给对应用户、ip配置

host replication all 0.0.0.0/0 md5

复制槽操作

-- 创建复制槽

select * from pg_create_logical_replication_slot('replication_slot', 'decoderbufs');

-- 查询复制槽

select * from pg_replication_slots;

-- 删除复制槽

select pg_drop_replication_slot('replication_slot');

-- 查看复制槽数据

SELECT * FROM pg_logical_slot_peek_changes('replication_slot', NULL, NULL, 'debug-mode', '1');

写入方式

写入方式场景权限要求对应功能说明
JDBC写入1、赋予在该schema下创建表的权限:
GRANT CREATE ON SCHEMA dp_schema TO dp_heh;
2、赋予schema的使用权限:
GRANT USAGE ON SCHEMA dp_schema TO dp_heh;
3、赋予写入权限:
GRANT SELECT,INSERT,UPDATE,DELETE ON dp_schema.dp_sink_table to dp_heh;
4、赋予清空权限: GRANT TRUNCATE ON dp_schema.dp_sink_table to dp_heh;
5、修改表的owner
ALTER TABLE dp_schema.dp_sink_table OWNER TO dp_heh;
1、创建表
2、任务运行,读取写入权限
3、选表,写入数据
4、清空目的地表(如果不给该选择,将无法通过DP实现对目的地的清空操作)
5、删除重建表,结构变化(如果不给该选择,将无法通过DP实现结构变化)

节点特性

数据类型​

序号官网支持类型DP定义的类型作为源支持情况作为目的地支持情况
1character varyingVARCHAR✔️✔️
2varcharVARCHAR✔️✔️
3varchar2VARCHAR✔️✔️
4nvarchar2VARCHAR✔️✔️
5nvarcharVARCHAR✔️✔️
6character/charBPCHAR✔️✔️
7ncharBPCHAR✔️✔️
8textTEXT✔️✔️
9tinyintTINYINT✔️✔️
10smallintINT2✔️✔️
11integerINT4✔️✔️
12bigintINT8✔️✔️
13decimalNUMERIC✔️✔️
14numericNUMERIC✔️✔️
15numberNUMERIC✔️✔️
16realFLOAT4✔️✔️
17doubleprecisionFLOAT8✔️✔️
18floatFLOAT4✔️✔️
19binary_floatFLOAT4✔️✔️
20binary_doubleFLOAT8✔️✔️
21smallserialSMALLSERIAL✔️✔️
22serialSERIAL✔️✔️
23bigserialBIGSERIAL✔️✔️
24moneyMONEY✔️✔️
25timestampTIMESTAMP✔️✔️
26timestampwithtimezoneTIMESTAMPTZ✔️✔️
27timestampwithlocaltimezoneTIMESTAMPLTZ✔️✔️
28dateDATE✔️✔️
29timeTIME✔️✔️
30timewithtimezoneTIMETZ✔️✔️
31intervalINTERVAL✔️❌
32blobBLOB✔️✔️
33clobCLOB✔️✔️
34nclobNCLOB✔️✔️
35bfileBFILE✔️❌
36byteaBYTEA✔️✔️
37booleanBOOL✔️✔️
38bitBIT✔️❌
39bitvaryingVARBIT✔️❌
40POINTPOINT✔️❌
41lineLINE✔️❌
42LSEGLESG✔️❌
43BOXBOX✔️❌
44PATHPATH✔️❌
45POLYGONPOLYGON✔️❌
46CIRCLECIRCLE✔️❌
47CIDRCIDR✔️❌
48INETINET✔️❌
49MACADDRMACADDR✔️❌
50MACADDR8MACADDR8✔️❌
51TSVECTORTSVECTORY✔️❌
52TSQUERYTSQUERY✔️❌
53UUIDUUID✔️❌
54XMLXML✔️❌
55JSONJSON✔️❌
56JSONBJSONB✔️❌
57INT4RANGEINT4RANGE✔️❌
58INT8RANGEINT8RANGE✔️❌
59NUMRANGENUMRANGE✔️❌
60TSRANGETSRANGE✔️❌
61TSTZRANGETSTZRANGE✔️❌
62DATERANGEDATERANGE✔️❌
63OIDOID✔️❌
64CIDCID✔️❌
65XIDXID✔️❌
66TIDTID✔️❌
67REGCONFIGREGCONFIG✔️❌
68REGDICTIONARYREGDICTIONARY✔️❌
69REGOPERREGOPER✔️❌
70REGOPERATORREGOPERATOR✔️❌
71REGPROCREGPROC✔️❌
72REGPROCEDUREREGPROCEDURE✔️❌
73REGCLASSREGCLASS✔️❌
74REGTYPEREGTYPE✔️❌
75REGROLEREGROLE✔️❌
76regnamespaceREGNAMESPACE✔️❌
77rowidROWID✔️❌
78urowidUROWID✔️❌

说明:由于pg类型的数据库较为灵活,因此有部分字段类型官网没有,但是通过JDBC驱动查询时,可以查询出来。因此DP支持的字段类型会有部分在官网上没有更新。

另外对于目的地来说DP会按照DP定义的字段类型写入目的。

DML​

读取​

读取模式DML识别捕获信息限制
JDBCINSERT源端读取支持的所有字段类型【限制】不支持列筛选,如果不希望同步该列,在字段映射中不配置映射即可
但是读取的时候仍然会读取
DecoderbufsINSERT源端读取支持的所有字段类型【限制】1、不支持列筛选
【限制】2、无法捕获到TOAST字段
在 KingbaseES中,toast 其实是 KingbaseES用来存储大数据字段的机制。TOAST 是 KingbaseES在存储大型字段(如 TEXT、BYTEA 和 JSONB 等大对象)时的一种技术,允许将过大的数据分割为块并压缩,以便更高效地存储和访问。简单来说,TOAST 字段就是超过某个阈值的字段数据,它们在数据库内部经过分块和压缩处理
-- 查级别,查出来的可能是缩写,只有首字母
SELECT n.nspname,c.relname,relreplident FROM pg_catalog.pg_class c LEFT JOIN pg_catalog.pg_namespace n ON c.relnamespace=n.oid where c.relname = 'heh_0714'
-- 修改级别
ALTER TABLE heh_0714 REPLICA IDENTITY FULL
UPDATEbefore:null
after:支持的所有字段

必须要设置表的复制级别。
复制级别参考右侧。需要有主键或者复制级别配置为FULL。
开启之后,仅对开启之后的数据进行记录,开启之前的update before数据依然为空。
DELETEbefore:主键(可通过配置捕获全部字段)
after:null

必须要设置表的复制级别。
复制级别参考右侧。需要有主键或者复制级别配置为FULL。
开启之后,仅对开启之后的数据进行记录,开启之前的update before数据依然为空。

关于日志补全说明:

日志补全开启是否有主键insertupdatedelete
未开启主键表after数据完整before为空
after数据完整
before数据只有主键,其他列为空
无主键表after数据完整before为空
after为空
before为空
开启full补全后主建表after数据完整before数据完整
after数据完整
before数据完整
无主键表after数据完整before数据完整
after数据完整
before数据完整

写入​

写入策略写入SQL语法限制
INSERTINSERT INTO 。。。 VALUES 。。。
UPDATEUPDATE。。。 SET。。。 WHERE 。。。需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
【限制】当源端采集不完整,目的主键列 源端采集不到,会存在最终数据不一致情况,因为拿null去更新数据(不是因为真实值为null,是因为采集不完整)
当更新条件中存在值为null时,会做特殊处理。
更新条件的字段为空:update 表名 set 字段 value where 更新条件 is null;
更新条件的字段为空:update 表名 set 字段 value where 更新条件 in value;
示例:
plain UPDATE "kingbase"."public"."t1" SET "col1"=?,"col2"=? WHERE "id1" IS NULL AND "id"=?
DELETEset enable_indexscan = on;
set enable_seqscan = off;
DELETE FROM。。。 WHERE 。。。
需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
原因同上:
当更新条件中存在值为null时,会做特殊处理。
1. 更新条件的字段为空:delete from 表名 where 更新条件 is null;
2. 更新条件的字段不为空:delete from 表名 where 更新条件的字段 in (value);
plain DELETE FROM kKingbase"."public"."t1" WHERE "id1" IS NULL AND ("id") in (('1'))
MERGE部分更新(oracle未开启补全),update需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
1)逻辑主键变更: delete+ insert
2)非逻辑主键变更:
INSERT INTO 。。。VALUES 。。。
ON CONFLICT 。。。 DO UPDATE SET。。。
IGNORE

DDL​

读取​

由于解析是通过Decoderbufs,而Decoderbufs中没有DDL信息,因此,实际上DDL是靠结构比对捕获的,因此,需要增量数据触发diff。

DDL类型读取方式是否支持获取上游触发场景支持处理的内容
add columnDecoderbufs / JDBC✔️1. 源端加列
2. 源端rename列–rename后的列识别为新增列
【限制】不支持移位DDL,即不支持after,first等
名称、类型、精度、标度、默认值、注释、not null
drop columnDecoderbufs / JDBC✔️1. 源端加列
2. 源端rename列–rename后的列识别为新增列
modify columnDecoderbufs / JDBC✔️源端修改类型,精度,标度类型、精度、标度、默认值、注释、not null
rename columnDecoderbufs / JDBC❌【限制】不支持,会识别为删除列+新增列(风险❗️)
drop tableDecoderbufs❌不支持
JDBC✔️源表被删除或者源表被rename
【说明】当JDBC读取的时候,会检测到待同步的表不存在。
truncate tableDecoderbufs / JDBC❌不支持
create tableDecoderbufs❌不支持
JDBC❌当前不支持
rename tableDecoderbufs❌不支持
JDBC❌不支持,会被识别为drop table

写入​

DDL类型是否支持限制
truncate table✔️需要有权限
drop table✔️需要有权限
truncate partition❌
drop partition❌
add column✔️【限制】不支持移位DDL,即不支持after,first等,需要有权限
drop column✔️需要有权限
modify column✔️【限制】1、其他未支持的属性,结构变化后映射可能会有diff
【限制】2、修改列的数据类型,并且新类型与旧类型不兼容时,需要使用 USING 子句,此种场景暂不支持
rename column✔️【限制】其他未支持的属性,结构变化后映射可能会有diff

索引​

KingbaseES当前支持在创建目的表时,可以创建索引,目前支持的索引类型及配置

索引类型索引存储方式排序
普通索引Hash 、Btree支持配置
唯一索引Btree支持配置
主键索引Btree不支持配置,默认为升序

添加 KingbaseES节点操作步骤

新建弹窗界面选择了 KingbaseES节点类型之后,显示 KingbaseES的基本信息配置模板:

  • 版本:选择版本
  • 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或datapipeline.com
  • 端口:输入连接数据节点的端口值
  • 数据库名称:要求连接数据库的名称
  • Schema 目录:要求输入数据节点读取目录地址
    • 选项一:public(默认)
    • 选项二:用户可输入自定义选项
    • 允许输入多个 Schema,多个 Schema 可用英文逗号分隔
  • 用户名和密码:输入可访问该数据节点的用户名和密码

节点限制:​

Decoderbufs的实现机制,是开启了复制槽后,会定期的flush lsn ,通知数据库,这一批已经处理完了。这个时候,数据库会根据返回的信息,定期处理和回收日志,因此pg系的对于Decoderbufs的同步方式,指定LSN的预期将很难确定,无法确认数据库回收了多少,举例,复制槽开始时是100,系统复制到了10000,这个时候可能日志回收被处理的是100-10000之间的一个值,然后如果指定了一个小于10000的数,如果启动时没有被回收则从该点继续读,如果回收了,则从最小的开始读,因此这个功能对于用户而言预期和实际有很大的偏差,对于该节点,只能提供暂停时进度,激活时间为起点,这两个起点设置,暂不支持指定起点的功能。

节点参数配置​

领域参数默认值单位含义影响范围
sourceDEBEZIUM_HEARTBEAT_INTERVAL60 000毫秒1、配置分片读取后,增量阶段心跳线程执行间隔
2、心跳时,推进全部表进度的时间间隔(分片读取时会定期发送dummy到该任务全部表的topic)
decoderbufs增量读取时(是否分片都有用)
KING_BASE_FLUSH_LSN_HELPER_INTERVAL_MS1800 1000毫秒当任务中的表长时间没有增量,但其他表增量很多时,可以辅助提交confirm_flush_lsn

第一次处理非任务表~第n次处理非任务表(中间无任务表数据)
判断当前时间与第一次时间是否超过了提交间隔,超过则提交一次flush lsn
source& sinkCP_MIN_IDLE0连接池参数:
该参数设置连接池中最小的空闲连接数。当空闲连接数低于此值时,连接池会创建新的连接以保持该数量。这有助于在高负载时减少连接建立的延迟。
所有与数据库交互的情况
CP_CONNECTION_TIMEOUT_MS10000毫秒连接池参数:
该参数指定从连接池获取连接的最大等待时间(以毫秒为单位)。如果在此时间内无法获取连接,则会抛出异常。它有助于避免长时间等待导致的应用程序性能问题。
CP_MAX_LIFETIME_MS1800 000毫秒连接池参数:
该参数定义连接的最大生命周期(以毫秒为单位)。当连接达到这个时间后,它将被标记为过期并关闭,以便在下次使用时可以替换为新的连接。这可以帮助避免连接老化的问题。
CP_IDLE_TIMEOUT_MS30 000毫秒连接池参数:
该参数设置连接在连接池中保持空闲状态的最长时间(以毫秒为单位)。超过此时间未被使用的连接将被关闭。此设置有助于释放不再使用的资源。
sinkGROUP_WARN_NUM10组当一批次分组结果超过10后,打印warn日志sink对批次分组时
GROUP_NULL_IGNOREtrue删除事件的分组优化
删除事件中,假如非更新列的key都是空,则不干扰排序,最终会分为一组
比如:目的既有主键,又有唯一索引。那么主键就是更新列,唯一索引就是非更新列的key
假设源端是pg,且未开启补全,则删除事件只有主键的before
删除5000条数据,唯一列都是null,如果不优化,会分为5000组,性能会很差
sink对批次分组时