跳到主要内容
版本:v5.10

读取条件设置

设置读取条件是对数据源中数据读取的限制配置:

  • JDBC 条件过滤:通常用于增量识别字段模式指定增量数据的获取。
  • CDC 实时条件过滤:通常用于 CDC 实时同步阶段中定义行级过滤规则,符合条件的数据将写入目的地节点

关于此功能​

JDBC 条件过滤:

  1. 在增量识别字段模式获取增量数据时,我们提供 lastmax()函数配置的方式来指定增量数据获取。
  2. 在通过 JDBC 读取数据时,通过指定限制读取内容条件(即 where 语句)即可限制读取范围。

CDC 实时条件过滤:

  1. 通过显示的条件配置系统进行解析,在采集变更事件时即完成过滤,仅同步满足条件的数据行到目标端。
  2. 当前版本仅支持 Oceanbase、Oracle、DB2 这三个节点类型为源节点时设置 CDC 实时条件过滤(其他节点类型不显示 CDC 实时条件过滤配置)。

操作步骤​

单映射配置

  1. 在数据任务-映射设置-映射列表「操作」中,点击「读取设置」按钮,选择「读取条件设置」
  2. JDBC 过滤配置
    1. 在where条件输入框中,输入where条件语句
    2. 完成where条件语句配置后,可点击试运行,根据条件获取样例数据
信息

last_max()函数介绍

  • 您可根据需求设置 where 语句,DataPipeline 提供 last_max()函数帮助用户解决定时读取增量数据的需求。
    • 对常规 JDBC 读取:
      • last_max()函数
        • 使用该函数 DataPipeline 会取该任务下已同步数据中某一个字段的最大值,您可以使用该值作为 where 语句读取条件。
        • 使用 last_max()函数,在第一次执行该语句或对应字段暂无数值,则会忽略该函数相关的读取条件。
      • 例子一:
        • 已同步数据中,取某一个字段的最大值用于读取条件。
        • SELECT * FROM table1 WHERE _id>=last_max(_id)
        • 注:每次执行批量读取时,使用 last_max 自定义函数取已同步数据中「_id」字段最大值,读取大于等于「id」已同步最大值的数据。
      • 例子二:
        • 以日期字段作为读取条件,每次只同步当前日期减一天的数据,并且只同步未曾读取的数据。
        • SELECT * FROM E_Commerce_Retail_Sales WHERE date >last_max(date) and date <=CURDATE()-1
        • 每次只同步 date 字段值大于已同步数据中 date 字段最大值,并且只同步昨天的数据(date 字段值)。
      • 对 MongoDB Java Driver:
        • last_max()函数
          • 使用该函数 DataPipeline 会取该任务下已同步数据中某一个字段的最大值,用户可以使用该值作为 find 语句读取条件。
          • 用户使用 last_max()函数,对应字段暂无数值,则会忽略该函数相关的读取条件。
          • 当使用 new ISODate 或 new ObjectId 与 last_max()函数同时使用时,需使用""将 new ISODate 或 new ObjectId 与 last_max()函数包起来,且需加必要的转义字符。其中,new ObjectId 只能与_id 配合使用。
          • 当需要指定多个条件时,多个条件间的关系仅支持 and。
          • 查询条件支持的字段类型:INT、LONG、DOUBLE、DATE。
        • 例子一:
          • 已同步数据中,取某一个字段最大值用于读取条件。
          • db.getCollection("col").find({"_id":{$gt:"new ObjectId("last_max(_id)")"}})
          • 注:第一次执行批量读取时,读取全量。以后每次执行批量读取时,使用 last_max 自定义函数取已同步数据中「_id」字段最大值,读取大于等于「_id」已同步最大值的数据
        • 例子二:
          • 首次全量同步,之后以日期字段作为读取条件,每次只同步当前取到的最大日期减一天的数据,并且只同步未曾读取的数据。
          • db.getCollection("col").find({"t_date":{$gt:"new ISODate("last_max(t_date)")"}})
          • 注:第一次执行批量读取时,同步全量。以后每次只同步 date 字段值大于已同步数据中 date 字段最大值,并且只同步某一天的数据
        • 例子三:
          • 只同步增量,以日期字段作为读取条件,每次只同步当前取到的最大日期减一天的数据,并且只同步未曾读取的数据。
          • db.getCollection("col").find({$and: [{"t_date":{$gt:"new ISODate("last_max(t_date)")"}}, {"t_date":{$gt:new ISODate("2022-08-21T08:00:00+08:00")}}]})
          • 注:第一次执行批量读取时,只同步日期大于 2022-08-21T08:00:00+08:00 的数据。以后每次只同步 date 字段值大于已同步数据中 date 字段最大值,并且只同步某一天的数据
  1. CDC 实时过滤配置:当数据任务源节点为 Oceanbase、Oracle、DB2 这三个节点类型为源节点时,可通过显示的条件配置,用户可自行配置过滤字段、运算符、逻辑运算、过滤值等。系统根据配置的进行条件解析。条件配置项包括:
    1. 字段选择:仅支持选择「字符串、整数、浮点数、日期/时间」类型的字段,系统自动进行筛选
    2. 运算符:支持的运算符包括>(大于)、<(小于)、>=(大于等于)、<=(小于等于)、=(等于)、!=(不等于)、包含(IN)、不包含(NOT IN)、是(is)- 仅用于配置是否为空
    3. 过滤值:
      1. 普通运算符:通过输入框输入过滤值(需要严格遵守字段类型在Kafka Topic中的格式进行输入)
      2. IN/NOT IN:通过标签编辑器,输入多个枚举值,通过ENTER键进行分割。点击右上角“x”可删除枚举值
      3. IS:通过下拉框,提供选项 NULL 以及 NOT NULL,选择后可相应的过滤 “空值”或者“非空”
    4. 逻辑运算符:
      1. 点击「添加过滤条件」按钮,可新增一组过滤条件配置
      2. 点击「逻辑运算符」按钮,可切换 「OR」 或者 「AND」
  2. 确认配置无误后,点击「保存」按钮保存配置
信息

CDC 实时过滤特殊类型说明:

  • 定长字符类型(要求:补足末尾空格;示例:'A '):Oracle:CHAR、NCHAR;OceanBase Oracle:CHAR、NCHAR
  • 带时区时间类型(要求:使用 ISO 8601 格式;示例:2000-01-01T01:01:01+08:00):Oracle:TIMESTAMP WITH TIME ZONE;OceanBase Oracle:TIMESTAMP WITH TIME ZONE
  • 日期类型(示例:2000-01-01):DB2:DATE;OceanBase MySQL:DATE
  • 时间类型(示例:01:01:01):DB2:TIME;OceanBase MySQL:TIME
  • 日期时间类型(示例:2000-01-01 01:01:01):DB2:TIMESTAMP;OceanBase MySQL:DATETIME、TIMESTAMP;OceanBase Oracle:DATE、TIMESTAMP、TIMESTAMP WITH LOCAL TIME ZONE;Oracle:TIMESTAMP WITH LOCAL TIME ZONE

批量配置

  1. 在数据任务-映射设置中,批量选中需要修改读取并发的映射后,点击「批量配置读取设置」,选择「读取条件设置」
  2. 读取条件设置:进行JDBC过滤配置 或者 进行 CDC过滤配置,配置方式与单映射一致
  3. 点击「保存」按钮保存配置,配置将下发到选中映射

注意事项​

:::color3

  • 当前版本仅支持 Oceanbase、Oracle、DB2 这三个节点类型为源节点是设置 CDC 实时条件过滤(其他节点类型不显示 CDC 实时条件过滤配置)。
  • 其他节点类型在任务中配置读取条件设置,首先需要将源节点的读取方式修改为JDBC,才可进行读取条件设置
  • JDBC 定时增量读取选择合适的增量识别字段有助于增量任务稳定运行,通常情况下选取日期、时间戳、数字自增 id 等字段作为增量识别字段配置相对容易,且计算更加稳定。
  • CDC 实时过滤限制说明:
    • DB2 节点由于 delete 事件无法获取到 before 主键,删除事件只有 after 主键(如:设置c1 > 100,本身这条数据的c1=200满足条件,但删除事件的 before 是 null。在 c1=null 的情况下不满足过滤条件,因此该 delete 事件无法发送到目的地,即无法删除这条 c1=200 的数据)
    • DB2 节点选择选择“IBM InfoSphere Data Replication”读取方式时,CDC 实时过滤配置也会应用到全量阶段(该读取模式下全量阶段也会走 CDC)

:::