版本说明
- 数据源 JDBC 模式支持 KingbaseES V8、V9版本;
- 数据源Decoderbufs 模式支持KingbaseES V8、V9版本,不支持 只读库;
- 目的地 JDBC 模式支持 KingbaseES V8、V9版本。
读取方式
| 读取方式 | 场景 | 权限要求 | 对应功能 |
|---|---|---|---|
| JDBC | 批量同步场景,全量初始化 | 1、赋予查询权限: GRANT SELECT ON dp_schema.dp_src_table to dp_heh; 2、赋予schema的使用权限: GRANT USAGE ON SCHEMA dp_schema TO dp_heh; | 1、选表,读取数据 2、任务运行,读取权限 |
| Decoderbufs | 增量监听场景 | 1、赋予复制权限(Decoderbufs读取):ALTER USER dp_heh REPLICATION; 2、赋予schema的使用权限: GRANT USAGE ON SCHEMA dp_schema TO dp_heh; 3、同步表的查询权限 GRANT SELECT ON dp_schema.dp_src_table to dp_heh; 4、赋予schema的使用权限: GRANT USAGE ON SCHEMA dp_schema TO dp_heh; | 1、Decoderbufs 增量读取 2、任务运行,读取权限 |
数据库配置相关: kingbase.conf 和 sys_hba.conf
1、kingbase.conf中必须配置逻辑复制级别、复制槽个数等配置
2、sys_hba.conf中,控制权限,当报错中包含sys_hba.conf时,需要检查对应配置文件。
如果需要逻辑复制,必须给对应用户、ip配置
host replication all 0.0.0.0/0 md5

复制槽操作
-- 创建复制槽
select * from pg_create_logical_replication_slot('replication_slot', 'decoderbufs');
-- 查询复制槽
select * from pg_replication_slots;
-- 删除复制槽
select pg_drop_replication_slot('replication_slot');
-- 查看复制槽数据
SELECT * FROM pg_logical_slot_peek_changes('replication_slot', NULL, NULL, 'debug-mode', '1');
写入方式
| 写入方式 | 场景 | 权限要求 | 对应功能说明 |
|---|---|---|---|
| JDBC | 写入 | 1、赋予在该schema下创建表的权限: GRANT CREATE ON SCHEMA dp_schema TO dp_heh; 2、赋予schema的使用权限: GRANT USAGE ON SCHEMA dp_schema TO dp_heh; 3、赋予写入权限: GRANT SELECT,INSERT,UPDATE,DELETE ON dp_schema.dp_sink_table to dp_heh; 4、赋予清空权限: GRANT TRUNCATE ON dp_schema.dp_sink_table to dp_heh; 5、修改表的owner ALTER TABLE dp_schema.dp_sink_table OWNER TO dp_heh; | 1、创建表 2、任务运行,读取写入权限 3、选表,写入数据 4、清空目的地表(如果不给该选择,将无法通过DP实现对目的地的清空操作) 5、删除重建表,结构变化(如果不给该选择,将无法通过DP实现结构变化) |
节点特性
数据类型
| 序号 | 官网支持类型 | DP定义的类型 | 作为源支持情况 | 作为目的地支持情况 |
|---|---|---|---|---|
| 1 | character varying | VARCHAR | ✔️ | ✔️ |
| 2 | varchar | VARCHAR | ✔️ | ✔️ |
| 3 | varchar2 | VARCHAR | ✔️ | ✔️ |
| 4 | nvarchar2 | VARCHAR | ✔️ | ✔️ |
| 5 | nvarchar | VARCHAR | ✔️ | ✔️ |
| 6 | character/char | BPCHAR | ✔️ | ✔️ |
| 7 | nchar | BPCHAR | ✔️ | ✔️ |
| 8 | text | TEXT | ✔️ | ✔️ |
| 9 | tinyint | TINYINT | ✔️ | ✔️ |
| 10 | smallint | INT2 | ✔️ | ✔️ |
| 11 | integer | INT4 | ✔️ | ✔️ |
| 12 | bigint | INT8 | ✔️ | ✔️ |
| 13 | decimal | NUMERIC | ✔️ | ✔️ |
| 14 | numeric | NUMERIC | ✔️ | ✔️ |
| 15 | number | NUMERIC | ✔️ | ✔️ |
| 16 | real | FLOAT4 | ✔️ | ✔️ |
| 17 | doubleprecision | FLOAT8 | ✔️ | ✔️ |
| 18 | float | FLOAT4 | ✔️ | ✔️ |
| 19 | binary_float | FLOAT4 | ✔️ | ✔️ |
| 20 | binary_double | FLOAT8 | ✔️ | ✔️ |
| 21 | smallserial | SMALLSERIAL | ✔️ | ✔️ |
| 22 | serial | SERIAL | ✔️ | ✔️ |
| 23 | bigserial | BIGSERIAL | ✔️ | ✔️ |
| 24 | money | MONEY | ✔️ | ✔️ |
| 25 | timestamp | TIMESTAMP | ✔️ | ✔️ |
| 26 | timestampwithtimezone | TIMESTAMPTZ | ✔️ | ✔️ |
| 27 | timestampwithlocaltimezone | TIMESTAMPLTZ | ✔️ | ✔️ |
| 28 | date | DATE | ✔️ | ✔️ |
| 29 | time | TIME | ✔️ | ✔️ |
| 30 | timewithtimezone | TIMETZ | ✔️ | ✔️ |
| 31 | interval | INTERVAL | ✔️ | ❌ |
| 32 | blob | BLOB | ✔️ | ✔️ |
| 33 | clob | CLOB | ✔️ | ✔️ |
| 34 | nclob | NCLOB | ✔️ | ✔️ |
| 35 | bfile | BFILE | ✔️ | ❌ |
| 36 | bytea | BYTEA | ✔️ | ✔️ |
| 37 | boolean | BOOL | ✔️ | ✔️ |
| 38 | bit | BIT | ✔️ | ❌ |
| 39 | bitvarying | VARBIT | ✔️ | ❌ |
| 40 | POINT | POINT | ✔️ | ❌ |
| 41 | line | LINE | ✔️ | ❌ |
| 42 | LSEG | LESG | ✔️ | ❌ |
| 43 | BOX | BOX | ✔️ | ❌ |
| 44 | PATH | PATH | ✔️ | ❌ |
| 45 | POLYGON | POLYGON | ✔️ | ❌ |
| 46 | CIRCLE | CIRCLE | ✔️ | ❌ |
| 47 | CIDR | CIDR | ✔️ | ❌ |
| 48 | INET | INET | ✔️ | ❌ |
| 49 | MACADDR | MACADDR | ✔️ | ❌ |
| 50 | MACADDR8 | MACADDR8 | ✔️ | ❌ |
| 51 | TSVECTOR | TSVECTORY | ✔️ | ❌ |
| 52 | TSQUERY | TSQUERY | ✔️ | ❌ |
| 53 | UUID | UUID | ✔️ | ❌ |
| 54 | XML | XML | ✔️ | ❌ |
| 55 | JSON | JSON | ✔️ | ❌ |
| 56 | JSONB | JSONB | ✔️ | ❌ |
| 57 | INT4RANGE | INT4RANGE | ✔️ | ❌ |
| 58 | INT8RANGE | INT8RANGE | ✔️ | ❌ |
| 59 | NUMRANGE | NUMRANGE | ✔️ | ❌ |
| 60 | TSRANGE | TSRANGE | ✔️ | ❌ |
| 61 | TSTZRANGE | TSTZRANGE | ✔️ | ❌ |
| 62 | DATERANGE | DATERANGE | ✔️ | ❌ |
| 63 | OID | OID | ✔️ | ❌ |
| 64 | CID | CID | ✔️ | ❌ |
| 65 | XID | XID | ✔️ | ❌ |
| 66 | TID | TID | ✔️ | ❌ |
| 67 | REGCONFIG | REGCONFIG | ✔️ | ❌ |
| 68 | REGDICTIONARY | REGDICTIONARY | ✔️ | ❌ |
| 69 | REGOPER | REGOPER | ✔️ | ❌ |
| 70 | REGOPERATOR | REGOPERATOR | ✔️ | ❌ |
| 71 | REGPROC | REGPROC | ✔️ | ❌ |
| 72 | REGPROCEDURE | REGPROCEDURE | ✔️ | ❌ |
| 73 | REGCLASS | REGCLASS | ✔️ | ❌ |
| 74 | REGTYPE | REGTYPE | ✔️ | ❌ |
| 75 | REGROLE | REGROLE | ✔️ | ❌ |
| 76 | regnamespace | REGNAMESPACE | ✔️ | ❌ |
| 77 | rowid | ROWID | ✔️ | ❌ |
| 78 | urowid | UROWID | ✔️ | ❌ |
说明:由于pg类型的数据库较为灵活,因此有部分字段类型官网没有,但是通过JDBC驱动查询时,可以查询出来。因此DP支持的字段类型会有部分在官网上没有更新。
另外对于目的地来说DP会按照DP定义的字段类型写入目的。
DML
读取
| 读取模式 | DML识别 | 捕获信息 | 限制 |
|---|---|---|---|
| JDBC | INSERT | 源端读取支持的所有字段类型 | 【限制】不支持列筛选,如果不希望同步该列,在字段映射中不配置映射即可 但是读取的时候仍然会读取 |
| Decoderbufs | INSERT | 源端读取支持的所有字段类型 | 【限制】1、不支持列筛选 【限制】2、无法捕获到TOAST字段 在 KingbaseES中, toast 其实是 KingbaseES用来存储大数据字段的机制。TOAST 是 KingbaseES在存储大型字段(如 TEXT、BYTEA 和 JSONB 等大对象)时的一种技术,允许将过大的数据分割为块并压缩,以便更高效地存储和访问。简单来说,TOAST 字段就是超过某个阈值的字段数据,它们在数据库内部经过分块和压缩处理【限制】3、有主键的表,update无法获取before的数据,delete只能获取到before中屙主键,需要配置REPLICA IDENTITY属性设置为FULL对数据进行不补全。否则任务会报错提示无法获取before数据。 【限制】4、无主键的表,捕获不到update、delete类型的记录; 想要捕获全部信息,需要REPLICA IDENTITY属性设置为FULL(同样适用于有主键表想捕获全部列) -- 查级别,查出来的可能是缩写,只有首字母 SELECT n.nspname,c.relname,relreplident FROM pg_catalog.pg_class c LEFT JOIN pg_catalog.pg_namespace n ON c.relnamespace=n.oid where c.relname = 'heh_0714' -- 修改级别 ALTER TABLE heh_0714 REPLICA IDENTITY FULL ![]() |
| UPDATE | before:null after:支持的所有字段 必须要设置表的复制级别。 复制级别参考右侧。需要有主键或者复制级别配置为FULL。 开启之后,仅对开启之后的数据进行记录,开启之前的update before数据依然为空。 | ||
| DELETE | before:主键(可通过配置捕获全部字段) after:null 必须要设置表的复制级别。 复制级别参考右侧。需要有主键或者复制级别配置为FULL。 开启之后,仅对开启之后的数据进行记录,开启之前的update before数据依然为空。 |
写入
| 写入策略 | 写入SQL语法 | 限制 |
|---|---|---|
| INSERT | INSERT INTO 。。。 VALUES 。。。 | |
| UPDATE | UPDATE。。。 SET。。。 WHERE 。。。 | 需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。 【限制】当源端采集不完整,目的主键列 源端采集不到,会存在最终数据不一致情况,因为拿null去更新数据(不是因为真实值为null,是因为采集不完整) 当更新条件中存在值为null时,会做特殊处理。 更新条件的字段为空:update 表名 set 字段 value where 更新条件 is null; 更新条件的字段为空:update 表名 set 字段 value where 更新条件 in value; 示例: plain UPDATE "kingbase"."public"."t1" SET "col1"=?,"col2"=? WHERE "id1" IS NULL AND "id"=? |
| DELETE | set enable_indexscan = on; set enable_seqscan = off; DELETE FROM。。。 WHERE 。。。 | 需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。 原因同上: 当更新条件中存在值为null时,会做特殊处理。 1. 更新条件的字段为空:delete from 表名 where 更新条件 is null; 2. 更新条件的字段不为空:delete from 表名 where 更新条件的字段 in (value); plain DELETE FROM kKingbase"."public"."t1" WHERE "id1" IS NULL AND ("id") in (('1')) |
| MERGE | 部分更新(oracle未开启补全),update | 需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。 |
| 1)逻辑主键变更: delete+ insert 2)非逻辑主键变更: INSERT INTO 。。。VALUES 。。。 ON CONFLICT 。。。 DO UPDATE SET。。。 | ||
| IGNORE |
DDL
读取
由于解析是通过Decoderbufs,而Decoderbufs中没有DDL信息,因此,实际上DDL是靠结构比对捕获的,因此,需要增量数据触发diff。
| DDL类型 | 读取方式 | 是否支持获取 | 上游触发场景 | 支持处理的内容 |
|---|---|---|---|---|
| add column | Decoderbufs / JDBC | ✔️ | 1. 源端加列 2. 源端rename列–rename后的列识别为新增列 【限制】不支持移位DDL,即不支持after,first等 | 名称、类型、精度、标度、默认值、注释、not null |
| drop column | Decoderbufs / JDBC | ✔️ | 1. 源端加列 2. 源端rename列–rename后的列识别为新增列 | |
| modify column | Decoderbufs / JDBC | ✔️ | 源端修改类型,精度,标度 | 类型、精度、标度、默认值、注释、not null |
| rename column | Decoderbufs / JDBC | ❌ | 【限制】不支持,会识别为删除列+新增列(风险❗️) | |
| drop table | Decoderbufs | ❌ | 不支持 | |
| JDBC | ✔️ | 源表被删除或者源表被rename 【说明】当JDBC读取的时候,会检测到待同步的表不存在。 | ||
| truncate table | Decoderbufs / JDBC | ❌ | 不支持 | |
| create table | Decoderbufs | ❌ | 不支持 | |
| JDBC | ❌ | 当前不支持 | ||
| rename table | Decoderbufs | ❌ | 不支持 | |
| JDBC | ❌ | 不支持,会被识别为drop table |
写入
| DDL类型 | 是否支持 | 限制 |
|---|---|---|
| truncate table | ✔️ | 需要有权限 |
| drop table | ✔️ | 需要有权限 |
| truncate partition | ❌ | |
| drop partition | ❌ | |
| add column | ✔️ | 【限制】不支持移位DDL,即不支持after,first等,需要有权限 |
| drop column | ✔️ | 需要有权限 |
| modify column | ✔️ | 【限制】1、其他未支持的属性,结构变化后映射可能会有diff 【限制】2、修改列的数据类型,并且新类型与旧类型不兼容时,需要使用 USING 子句,此种场景暂不支持 |
| rename column | ✔️ | 【限制】其他未支持的属性,结构变化后映射可能会有diff |
索引
KingbaseES当前支持在创建目的表时,可以创建索引,目前支持的索引类型及配置
| 索引类型 | 索引存储方式 | 排序 |
|---|---|---|
| 普通索引 | Hash 、Btree | 支持配置 |
| 唯一索引 | Btree | 支持配置 |
| 主键索引 | Btree | 不支持配置,默认为升序 |
添加 KingbaseES节点操作步骤
新建弹窗界面选择了 KingbaseES节点类型之后,显示 KingbaseES的基本信息配置模板:
- 版本:选择版本
- 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或datapipeline.com
- 端口:输入连接数据节点的端口值
- 数据库名称:要求连接数据库的名称
- Schema 目录:要求输入数据节点读取目录地址
- 选项一:public(默认)
- 选项二:用户可输入自定义选项
- 允许输入多个 Schema,多个 Schema 可用英文逗号分隔
- 用户名和密码:输入可访问该数据节点的用户名和密码
节点限制:
Decoderbufs的实现机制,是开启了复制槽后,会定期的flush lsn ,通知数据库,这一批已经处理完了。这个时候,数据库会根据返回的信息,定期处理和回收日志,因此pg系的对于Decoderbufs的同步方式,指定LSN的预期将很难确定,无法确认数据库回收了多少,举例,复制槽开始时是100,系统复制到了10000,这个时候可能日志回收被处理的是100-10000之间的一个值,然后如果指定了一个小于10000的数,如果启动时没有被回收则从该点继续读,如果回收了,则从最小的开始读,因此这个功能对于用户而言预期和实际有很大的偏差,对于该节点,只能提供暂停时进度,激活时间为起点,这两个起点设置,暂不支持指定起点的功能。
节点参数配置
| 领域 | 参数 | 默认值 | 单位 | 含义 | 影响范围 |
|---|---|---|---|---|---|
| source | DEBEZIUM_HEARTBEAT_INTERVAL | 60 000 | 毫秒 | 1、配置分片读取后,增量阶段心跳线程执行间隔 2、心跳时,推进全部表进度的时间间隔(分片读取时会定期发送dummy到该任务全部表的topic) | decoderbufs增量读取时(是否分片都有用) |
| KING_BASE_FLUSH_LSN_HELPER_INTERVAL_MS | 1800 1000 | 毫秒 | 当任务中的表长时间没有增量,但其他表增量很多时,可以辅助提交confirm_flush_lsn 第一次处理非任务表~第n次处理非任务表(中间无任务表数据) 判断当前时间与第一次时间是否超过了提交间隔,超过则提交一次flush lsn | ||
| source& sink | CP_MIN_IDLE | 0 | 连接池参数: 该参数设置连接池中最小的空闲连接数。当空闲连接数低于此值时,连接池会创建新的连接以保持该数量。这有助于在高负载时减少连接建立的延迟。 | 所有与数据库交互的情况 | |
| CP_CONNECTION_TIMEOUT_MS | 10000 | 毫秒 | 连接池参数: 该参数指定从连接池获取连接的最大等待时间(以毫秒为单位)。如果在此时间内无法获取连接,则会抛出异常。它有助于避免长时间等待导致的应用程序性能问题。 | ||
| CP_MAX_LIFETIME_MS | 1800 000 | 毫秒 | 连接池参数: 该参数定义连接的最大生命周期(以毫秒为单位)。当连接达到这个时间后,它将被标记为过期并关闭,以便在下次使用时可以替换为新的连接。这可以帮助避免连接老化的问题。 | ||
| CP_IDLE_TIMEOUT_MS | 30 000 | 毫秒 | 连接池参数: 该参数设置连接在连接池中保持空闲状态的最长时间(以毫秒为单位)。超过此时间未被使用的连接将被关闭。此设置有助于释放不再使用的资源。 | ||
| sink | GROUP_WARN_NUM | 10 | 组 | 当一批次分组结果超过10后,打印warn日志 | sink对批次分组时 |
| GROUP_NULL_IGNORE | true | 删除事件的分组优化 删除事件中,假如非更新列的key都是空,则不干扰排序,最终会分为一组 比如:目的既有主键,又有唯一索引。那么主键就是更新列,唯一索引就是非更新列的key 假设源端是pg,且未开启补全,则删除事件只有主键的before 删除5000条数据,唯一列都是null,如果不优化,会分为5000组,性能会很差 | sink对批次分组时 |
