跳到主要内容
版本:v4.13

Oracle 支持 Oracle 最小附加日志、主键补全、唯一键补全日志级别数据同步

Oracle 补全日志可以在数据库级别设置,也可以在表级别设置。在数据库级别中,补全日志按补全的信息量,对应几个级别:

(1)最小附加日志(Minimal supplemental logging):是开启 logmnr 的最低日志要求,提供了行链接(chained rows)和多种数据存储(比如聚簇表、索引组织表)的信息。在 Oracle 9.2 之后的版本中,默认都不开启。

(2)主键补全(Primary key supplemental logging):在日志中补全所有主键列。如果表中无主键,则补全一个非空唯一索引列;如果非空唯一索引键也没,那么会补全除了 LOB 和 LONG 类型字段以外的所有列,这时就和下面的所有补全一样了。

(3)唯一键补全(Unique key supplemental logging):当唯一键列或位图索引列被修改时,在日志中补全所有唯一键列或位图索引列。打开唯一键补全也会同时打开主键补全。注意这个级别是需要条件触发的。

(4)外键补全(Foreign Key supplemental logging):当外键列被修改时,将在日志中补全所有外键列。这个级别也是需要条件触发的。

(5)所有补全(All supplemental logging):在日志中补全所有字段(排除 LOB 和 LONG 类型)。

在历史版本中,DataPipeline 的采集代理读取方式与 LogMinner 读取方式仅支持所有补全(All supplemental logging),在数据源 Oracle 数据库本身的业务压力比较大时,开启 ALL 级别日志补全也会给数据库服务带来比较大的压力。

因此,我们在新版本中支持了较低级别的日志补全进行数据同步的功能

关于此功能​

当您使用 Oracle 数据源时,在数据库配置过程中需要开启日志补全功能,补全 redo log 日志文件;DataPipeline 通过解析日志文件获取增量数据,同步至下游。

如 Oracle 数据源业务压力较大,经您的数据库管理员(DBA)评估,无法开启 ALL 级别日志补全时,可以使用最小附加日志、主键补全、唯一键补全日志级别进行数据同步。

如 Oracle 数据库中有数据表 A,表结构如下

idPK
customer_id
order_id唯一索引
order_type
price
order_ts

当上游发生业务变更,可以获取到的增量数据说明:

日志级别业务数据变更可获取的增量数据说明(不包含元数据信息)
Primary key supplemental loggingupdate A set price = 300 where id = 1222id = 1222,price = 300
Unique key supplemental loggingupdate A set price = 300 where order_id = 1222order_id = 1222,price = 300
Minimal supplemental loggingupdate A set price = 300 where id = 1222price = 300
All supplemental loggingupdate A set price = 300 where customer_id = 1222 and order_ts = 1667445833id = 1222,customer_id = 1222,order_id = 1222,order_type = 1,price = 300,order_ts = 1667445833

根据可获取的增量数据,数据目的地可以执行的更新操作的依赖条件取决于日志内容,存在部分使用限制。

使用场景​

当数据源需要同步的数据表有主键、唯一索引时,开启对应级别的日志补全,支持更新/删除 DML 同步。

当数据源需要同步的数据表没有主键、唯一索引时,开启非所有补全的日志补全级别,仅支持数据插入 DML 同步。

当数据源需要同步的数据表没有主键、唯一索引时,推荐开启 ALL 级别日志补全,通过逻辑主键功能指定业务主键,支持更新/删除/插入 DML 同步。

对不同的日志补全级别,可能存在不同的使用限制,使用此功能之前,请阅读 Oracle 数据源通过非 ALL 级别日志补全进行增量数据同步功能的使用限制说明,并合理评估数据源业务压力,选择合适的数据补全级别,以满足业务要求。

警告

对于不同的 Oracle 数据节点日志补全级别,需要在数据节点-连接参数配置中添加连接参数

  • 对应日志补全级别为:最小附加日志补全、主键补全、唯一键补全,需要添加参数:SUPPLEMENTAL_ALL_CHECK = false ; ENABLE_MINIMAL = true
  • 对应日志补全级别为:所有补全,无需额外添加连接参数,SUPPLEMENTAL_ALL_CHECK 默认值为 ture,ENABLE_MINIMAL 默认值为 false