Oracle 支持 Oracle 最小附加日志、主键补全、唯一键补全日志级别数据同步
Oracle 补全日志可以在数据库级别设置,也可以在表级别设置。在数据库级别中,补全日志按补全的信息量,对应几个级别:
(1)最小附加日志(Minimal supplemental logging):是开启 logmnr 的最低日志要求,提供了行链接(chained rows)和多种数据存储(比如聚簇表、索引组织表)的信息。在 Oracle 9.2 之后的版本中,默认都不开启。
(2)主键补全(Primary key supplemental logging):在日志中补全所有主键列。如果表中无主键,则补全一个非空唯一索引列;如果非空唯一索引键也没,那么会补全除了 LOB 和 LONG 类型字段以外的所有列,这时就和下面的所有补全一样了。
(3)唯一键补全(Unique key supplemental logging):当唯一键列或位图索引列被修改时,在日志中补全所有唯一键列或位图索引列。打开唯一键补全也会同时打开主键补全。注意这个级别是需要条件触发的。
(4)外键补全(Foreign Key supplemental logging):当外键列被修改时,将在日志中补全所有外键列。这个级别也是需要条件触发的。
(5)所有补全(All supplemental logging):在日志中补全所有字段(排除 LOB 和 LONG 类型)。
在历史版本中,DataPipeline 的采集代理读取方式与 LogMinner 读取方式仅支持所有补全(All supplemental logging),在数据源 Oracle 数据库本身的业务压力比较大时,开启 ALL 级别日志补全也会给数据库服务带来比较大的压力。
因此,我们在新版本中支持了较低级别的日志补全进行数据同步的功能
关于此功能
当您使用 Oracle 数据源时,在数据库配置过程中需要开启日志补全功能,补全 redo log 日志文件;DataPipeline 通过解析日志文件获取增量数据,同步至下游。
如 Oracle 数据源业务压力较大,经您的数据库管理员(DBA)评估,无法开启 ALL 级别日志补全时,可以使用最小附加日志、主键补全、唯一键补全日志级别进行数据同步。
如 Oracle 数据库中有数据表 A,表结构如下
| id | PK |
|---|---|
| customer_id | |
| order_id | 唯一索引 |
| order_type | |
| price | |
| order_ts |
当上游发生业务变更,可以获取到的增量数据说明:
| 日志级别 | 业务数据变更 | 可获取的增量数据说明(不包含元数据信息) |
|---|---|---|
| Primary key supplemental logging | update A set price = 300 where id = 1222 | id = 1222,price = 300 |
| Unique key supplemental logging | update A set price = 300 where order_id = 1222 | order_id = 1222,price = 300 |
| Minimal supplemental logging | update A set price = 300 where id = 1222 | price = 300 |
| All supplemental logging | update A set price = 300 where customer_id = 1222 and order_ts = 1667445833 | id = 1222,customer_id = 1222,order_id = 1222,order_type = 1,price = 300,order_ts = 1667445833 |
根据可获取的增量数据,数据目的地可以执行的更新操作的依赖条件取决于日志内容,存在部分使用限制。
使用场景
当数据源需要同步的数据表有主键、唯一索引时,开启对应级别的日志补全,支持更新/删除 DML 同步。
当数据源需要同步的数据表没有主键、唯一索引时,开启非所有补全的日志补全级别,仅支持数据插入 DML 同步。
当数据源需要同步的数据表没有主键、唯一索引时,推荐开启 ALL 级别日志补全,通过逻辑主键功能指定业务主键,支持更新/删除/插入 DML 同步。
对不同的日志补全级别,可能存在不同的使用限制,使用此功能之前,请阅读 Oracle 数据源通过非 ALL 级别日志补全进行增量数据同步功能的使用限制说明,并合理评估数据源业务压力,选择合适的数据补全级别,以满足业务要求。
对于不同的 Oracle 数据节点日志补全级别,需要在数据节点-连接参数配置中添加连接参数
- 对应日志补全级别为:最小附加日志补全、主键补全、唯一键补全,需要添加参数:SUPPLEMENTAL_ALL_CHECK = false ; ENABLE_MINIMAL = true
- 对应日志补全级别为:所有补全,无需额外添加连接参数,SUPPLEMENTAL_ALL_CHECK 默认值为 ture,ENABLE_MINIMAL 默认值为 false :::