版本:v5.10
读取条件设置
设置读取条件是对数据源中数据读取的限制配置:
- JDBC 条件过滤:通常用于增量识别字段模式指定增量数据的获取。
- CDC 实时条件过滤:通常用于 CDC 实时同步阶段中定义行级过滤规则,符合条件的数据将写入目的地节点
关于此功能
JDBC 条件过滤:
- 在增量识别字段模式获取增量数据时,我们提供 lastmax()函数配置的方式来指定增量数据获取。
- 在通过 JDBC 读取数据时,通过指定限制读取内容条件(即 where 语句)即可限制读取范围。
CDC 实时条件过滤:
- 通过显示的条件配置系统进行解析,在采集变更事件时即完成过滤,仅同步满足条件的数据行到目标端。
- 当前版本仅支持 Oceanbase、Oracle、DB2 这三个节点类型为源节点时设置 CDC 实时条件过滤(其他节点类型不显示 CDC 实时条件过滤配置)。
操作步骤
单映射配置
- 在数据任务-映射设置-映射列表「操作」中,点击「读取设置」按钮,选择「读取条件设置」
- JDBC 过滤配置
- 在where条件输入框中,输入where条件语句
- 完成where条件语句配置后,可点击试运行,根据条件获取样例数据
信息
last_max()函数介绍
- 您可根据需求设置 where 语句,DataPipeline 提供 last_max()函数帮助用户解决定时读取增量数据的需求。
- 对常规 JDBC 读取:
- last_max()函数
- 使用该函数 DataPipeline 会取该任务下已同步数据中某一个字段的最大值,您可以使用该值作为 where 语句读取条件。
- 使用 last_max()函数,在第一次执行该语句或对应字段暂无数值,则会忽略该函数相关的读取条件。
- 例子一:
- 已同步数据中,取某一个字段的最大值用于读取条件。
SELECT * FROM table1 WHERE _id>=last_max(_id)- 注:每次执行批量读取时,使用 last_max 自定义函数取已同步数据中「_id」字段最大值,读取大于等于「id」已同步最大值的数据。
- 例子二:
- 以日期字段作为读取条件,每次只同步当前日期减一天的数据,并且只同步未曾读取的数据。
SELECT * FROM E_Commerce_Retail_Sales WHERE date >last_max(date) and date <=CURDATE()-1- 每次只同步 date 字段值大于已同步数据中 date 字段最大值,并且只同步昨天的数据(date 字段值)。
- 对 MongoDB Java Driver:
- last_max()函数
- 使用该函数 DataPipeline 会取该任务下已同步数据中某一个字段的最大值,用户可以使用该值作为 find 语句读取条件。
- 用户使用 last_max()函数,对应字段暂无数值,则会忽略该函数相关的读取条件。
- 当使用 new ISODate 或 new ObjectId 与 last_max()函数同时使用时,需使用""将 new ISODate 或 new ObjectId 与 last_max()函数包起来,且需加必要的转义字符。其中,new ObjectId 只能与_id 配合使用。
- 当需要指定多个条件时,多个条件间的关系仅支持 and。
- 查询条件支持的字段类型:INT、LONG、DOUBLE、DATE。
- 例子一:
- 已同步数据中,取某一个字段最大值用于读取条件。
db.getCollection("col").find({"_id":{$gt:"new ObjectId("last_max(_id)")"}})- 注:第一次执行批量读取时,读取全量。以后每次执行批量读取时,使用 last_max 自定义函数取已同步数据中「_id」字段最大值,读取大于等于「_id」已同步最大值的数据
- 例子二:
- 首次全量同步,之后以日期字段作为读取条件,每次只同步当前取到的最大日期减一天的数据,并且只同步未曾读取的数据。
db.getCollection("col").find({"t_date":{$gt:"new ISODate("last_max(t_date)")"}})- 注:第一次执行批量读取时,同步全量。以后每次只同步 date 字段值大于已同步数据中 date 字段最大值,并且只同步某一天的数据
- 例子三:
- 只同步增量,以日期字段作为读取条件,每次只同步当前取到的最大日期减一天的数据,并且只同步未曾读取的数据。
db.getCollection("col").find({$and: [{"t_date":{$gt:"new ISODate("last_max(t_date)")"}}, {"t_date":{$gt:new ISODate("2022-08-21T08:00:00+08:00")}}]})- 注:第一次执行批量读取时,只同步日期大于 2022-08-21T08:00:00+08:00 的数据。以后每次只同步 date 字段值大于已同步数据中 date 字段最大值,并且只同步某一天的数据
- last_max()函数
- last_max()函数
- 对常规 JDBC 读取:
- CDC 实时过滤配置:当数据任务源节点为 Oceanbase、Oracle、DB2 这三个节点类型为源节点时,可通过显示的条件配置,用户可自行配置过滤字段、运算符、逻辑运算、过滤值等。系统根据配置的进行条件解析。条件配置项包括:
- 字段选择:仅支持选择「字符串、整数、浮点数、日期/时间」类型的字段,系统自动进行筛选
- 运算符:支持的运算符包括>(大于)、<(小于)、>=(大于等于)、<=(小于等于)、=(等于)、!=(不等于)、包含(IN)、不包含(NOT IN)、是(is)- 仅用于配置是否为空
- 过滤值:
- 普通运算符:通过输入框输入过滤值(需要严格遵守字段类型在Kafka Topic中的格式进行输入)
- IN/NOT IN:通过标签编辑器,输入多个枚举值,通过ENTER键进行分割。点击右上角“x”可删除枚举值
- IS:通过下拉框,提供选项 NULL 以及 NOT NULL,选择后可相应的过滤 “空值”或者“非空”
- 逻辑运算符:
- 点击「添加过滤条件」按钮,可新增一组过滤条件配置
- 点击「逻辑运算符」按钮,可切换 「OR」 或者 「AND」
- 确认配置无误后,点击「保存」按钮保存配置
信息
CDC 实时过滤特殊类型说明:
- 定长字符类型(要求:补足末尾空格;示例:'A '):Oracle:CHAR、NCHAR;OceanBase Oracle:CHAR、NCHAR
- 带时区时间类型(要求:使用 ISO 8601 格式;示例:2000-01-01T01:01:01+08:00):Oracle:TIMESTAMP WITH TIME ZONE;OceanBase Oracle:TIMESTAMP WITH TIME ZONE
- 日期类型(示例:2000-01-01):DB2:DATE;OceanBase MySQL:DATE
- 时间类型(示例:01:01:01):DB2:TIME;OceanBase MySQL:TIME
- 日期时间类型(示例:2000-01-01 01:01:01):DB2:TIMESTAMP;OceanBase MySQL:DATETIME、TIMESTAMP;OceanBase Oracle:DATE、TIMESTAMP、TIMESTAMP WITH LOCAL TIME ZONE;Oracle:TIMESTAMP WITH LOCAL TIME ZONE
批量配置
- 在数据任务-映射设置中,批量选中需要修改读取并发的映射后,点击「批量配置读取设置」,选择「读取条件设置」
- 读取条件设置:进行JDBC过滤配置 或者 进行 CDC过滤配置,配置方式与单映射一致
- 点击「保存」按钮保存配置,配置将下发到选中映射
注意事项
:::color3
- 当前版本仅支持 Oceanbase、Oracle、DB2 这三个节点类型为源节点是设置 CDC 实时条件过滤(其他节点类型不显示 CDC 实时条件过滤配置)。
- 其他节点类型在任务中配置读取条件设置,首先需要将源节点的读取方式修改为JDBC,才可进行读取条件设置
- JDBC 定时增量读取选择合适的增量识别字段有助于增量任务稳定运行,通常情况下选取日期、时间戳、数字自增 id 等字段作为增量识别字段配置相对容易,且计算更加稳定。
- CDC 实时过滤限制说明:
- DB2 节点由于 delete 事件无法获取到 before 主键,删除事件只有 after 主键(如:设置c1 > 100,本身这条数据的c1=200满足条件,但删除事件的 before 是 null。在 c1=null 的情况下不满足过滤条件,因此该 delete 事件无法发送到目的地,即无法删除这条 c1=200 的数据)
- DB2 节点选择选择“IBM InfoSphere Data Replication”读取方式时,CDC 实时过滤配置也会应用到全量阶段(该读取模式下全量阶段也会走 CDC)
:::