跳到主要内容
版本:v5.12

受控停止

为了进一步的加强对于同步过程中的映射和任务的状态控制,产品推出受控停止功能。

信息架构图

画板

首先定义条件和规则,当条件触发后,可以在规则中,定义映射或者任务达到的期望状态。即可实现受控的功能。

逻辑概念

条件​

条件仅支持日志解析的方式,(当前仅支持Oceanbase Agent 和Oracle Agent 两种增量采集方式。)在条件中,需要定义监听表和逻辑表达式。

监听表:必须是和数据同步任务来自于同一个数据节点,且不允许是正在同步的表,同时每次每个条件中仅能选择一张表。

逻辑表达式:

支持操作类型:update和insert两种类型

同时支持定义字段,对于逻辑表达式,核心是可以经过逻辑判断得到true or false 的判断,因此当选择字段时,对字段类型有限制。

数据库支持定义和选择的字段类型
OracleVarchar2,Nvarchar2,char,Nchar,long,number,float
Oceanbase-OracleVarchar2,Nvarchar2,char,Nchar,long,number,float
Oceanbase-MySQLint,bigint,tinyint,smallint,float,varchar,char
提示

注意:

对于定长字段,char,Nchar类型,需要在规则设置中补齐空格,否则规则无法触发成功。

对于浮点数,若小数点后均为0,则会被忽略。因此规则设置,无需补零。

规则​

规则是由条件+操作对象的期望状态组成。

操作对象分为任务和映射。

期望状态:

当选择任务时,状态为暂停;

当选择映射时,暂停读写;仅暂停写

提示

注意:

当缓存如果选择使用服务器内存模式下,无法支持受控停止

画板

如上图所示,当规则触发后,即会发送对应状态控制的事件信息。如果该事件被重复触发,比如上游当触发后,暂停任务,在修改起点,使得该信息被重新消费,即会再次触发并发送控制事件。而对于写入端,只要消费到对应的事件后,就会执行对应的动作,已达到目标状态。

提示

限制:

首先规则中,条件不允许重复,当前条件的判断是监听表和逻辑表达式。但是通常建议,不要让同一个语句,触发两个规则,比如定义规则1的条件是监听表A的update,定义规则2的条件是监听表A某个字段的update的值。这个时候就有可能导致一个SQL,会影响两个规则。

规则修改​

当任务暂停时,才允许修改规则。只要规则被触发,事件就会发送。下游就一定会消费到对应的事件,并完成控制。

映射​

映射阶段:​

映射阶段是对当前映射同步的阶段的描述。

定时全量任务:全量同步阶段+批次

定时增量任务:全量同步阶段+增量同步阶段

实时增量任务:全量同步阶段+实时增量同步阶段

映射状态:​

映射状态是当前映射的读写是否被允许进行描述,与映射同步阶段无关。

映射状态对应情况统计展示
读取读取运行允许读,有运行资源,有要读到的数据
允许读,有运行资源,无待读取数据
允许读,该映射未在读取数据
允许读,无运行资源
实时统计:展示当前信息
读取暂停不允许读,即该映射的源表不会读取新的数据实时统计:不展示
写入写入运行允许写,有运行资源,有要写的数据
允许写,有运行资源,无待写入数据
允许写,该映射未在写入数据
允许写,无运行资源
实时统计:展示当前信息
写入暂停不允许写, 即该映射的目的地表不会写入新的数据实时统计:不展示

对于上面的映射状态,允许的映射操作:

从信息架构图和流程图,可以知道,受控停止要求映射的读写均处于运行中的状态,这样源端才可以正常的获取数据,并向下游发送控制事件。写入端消费到事件后,才会执行对应的动作,达到预期状态。

具体执行请参考规则中对于映射的控制。

映射状态控制​

由于对于映射的状态增加了读取和写入是否允许的控制,因此映射在不同状态下,可以执行对应的操作,从而实现对于映射状态的分别控制。

映射状态:读取运行,写入运行​

读取运行和写入运行时,可能处于正常的状态即运行中的稳态,也有可能是已经触发了受控暂停写,但是写入端还没有消费到对应的事件的中间态。此时允许的操作,和对应的最终状态如下。

操作说明执行动作后的最终状态
暂停映射
+ 立即暂停
+ 无缓存暂停

当是稳态时,执行命令即可。
当是中间态时,如果此时点击立即暂停或者无缓存暂停。
当立即暂停时,映射会立即暂停读写,当映射被再次启动时,如果消费到对应的事件消息,会继续执行动作。。
当选择无缓存暂停时,此时会先把映射的读停下,然后等写消费到事件信息后,会暂停。而无缓存暂停的命令会被放弃,再次激活映射时不会被执行。
即受控规则只要被触发过,就一定会被执行。而无缓存暂停,只要中间被打断和影响过即放弃。
读取暂停,写入暂停
仅暂停写当是稳态时,执行命令即可。
当是中间态时,如果此时点击仅暂停写。映射的写会立即暂停,但是当再次激活写,并且写入端再次消费到事件后,会再次因为触发规则而执行写入暂停的操作而暂停。
读取运行,写入暂停

映射状态:读取运行,写入暂停​

此时因为写入已经暂停, 因此一定是处于稳态。

操作说明执行动作后的最终状态
暂停映射由于是稳态,执行命令即可。读取暂停,写入暂停
仅激活写由于是稳态,执行命令即可。读取运行,写入运行

映射状态:读取暂停,写入运行​

因为写入仍然处于运行,因此可能会存在已经发起了写入端暂停的事件(受控暂停事件/无缓存暂停事件),但是实际上因为还没有消费到对应事件的中间状态。

操作说明执行动作后的最终状态
暂停映射
+ 立即暂停
+ 无缓存暂停

当是稳态时,执行命令即可。
当是中间态时,如果此时点击立即暂停或者无缓存暂停。
当立即暂停时,映射会立即暂停读写,由于读自身就是暂停,将立即暂停写。当映射被再次启动时,如果写入端的事件是受控事件,消费到会继续暂停。如果是无缓存暂停的事件,则该事件会被取消。
当选择无缓存暂停时,此时由于映射的读取本身就是暂停的状态,
并且无论当前的事件是受控事件还是无缓存暂停事件,效果均是一致的。最终都会将所有的缓存都消费完而暂停。
读取暂停,写入暂停
激活映射当是稳态时,执行命令即可。
当是中间态时,如果此时点击激活映射。会将映射的读激活,此时受控暂停映射,当写消费到暂停的命令时,仍然会把写暂停。
无缓存暂停的状态,将放弃无缓存暂停的状态
读取运行,写入暂停

映射状态:读取暂停,写入暂停​

操作说明执行动作后的最终状态
激活映射

由于是稳态,执行命令即可。
读取运行,写入运行
仅激活读由于是稳态,执行命令即可。
读取运行,写入暂停

任务​

注意当受控规则触发的控制要控制数据任务暂停时,需要所有的映射均处于读写运行的状态才能成功触发。因为暂停任务的判断需要依赖所有映射的读写暂停信息来判断,因此如果设置策略为暂停任务时,需要保障映射当前状态均为运行中才可以。

日志​

关于受控规则的功能会触发两类日志。

审计日志​

对于规则的变更,这包含了对于规则的创建,更新和删除,均会被记录为审计日志。

对于规则的状态,也会被记录为审计日志

运行日志​

这包含了任务和映射的状态变更。由于规则触发,策略触发。带来的映射或者任务状态的变更将会被记录。

如果规则触发,但是规则执行失败。会被记录为错误日志,并记录错误编号DP-10129。