跳到主要内容
版本:v2.7

SQL类型数据源读取条件设置

SQL类型数据源读取条件设置​

数据源为MySQL、Oracle、SQL server、Postgre SQL时,读取界面用户可以选择增量识别字段或者自定义读取条件。

  • 设置读取条件
    • 支持对每个数据表设置读取条件;
    • 读取模式为:「批量读取」,数据源为关系型数据库,用户可以设置和编辑读取条件
      • 默认是读取整个表的数据,若用户未选择增量识别字段也未自定义读取条件,则系统每次都会读取整个表的数据,系统会按照主键字段去重,若表没有主键则每次同步目的地会有重复数据。
      • 用户可以选用增量识别字段或者自定义读取条件来读取增量数据,两个只能选择其一,当用户设置了增量识别字段又去设置了自定义读取条件时,系统默认会把增量识别字段标识去掉,按照自定义读取条件来读取增量。
      • 每张表都一直显示增量识别字段,用户可以选择任意字段作为增量识别字段。
        • 选择一个字段作为增量识别字段后,下放显示出具体的执行语句。
        • 例如用户选择「_id」作为增量识别字段,执行语句显示为:SELECT * FROM table1 WHERE _id >= last_max(_id)
      • 允许用户自定义执行语句
        • 点击「编辑读取条件」,立即弹窗显示编辑窗口。
        • 若用户已勾选增量识别字段则要求清空增量识别字段标识以及where语句,只保留where语句前半部分不允许更改的内容。
        • 用户可以参照左侧的样例来输入自定义的读取条件。
      • 提供「试运行」按钮。
        • 点击后执行当前sql语句,系统会返回增加 limit 10的结果供用户参考。
    • 读取模式为:「实时模式」
      • 数据源表结构不显示「增量识别」列。
      • 若用户在任务设置界面选择读取「读取存量数据」,则在底部显示:
        • 存量数据执行语句:SELECT * FROM table1 (具体的执行语句)。
        • 用户可以设置SQL语句任务激活后会先执行该 SQL 语句(只读取一次),完成读写后再启动实时数据读取
  • 样例介绍
    • 用户可根据需求设置 Where 语句,DataPipeline 提供last_max()函数帮助用户解决定时读取增量数据的需求。
    • last_max()函数
      • 使用该函数 DataPipeline 会取该任务下已同步数据中某一个字段的最大值,用户可以使用该值作为 WHERE 语句读取条件。
      • 用户使用last_max()函数,在第一次执行该语句或对应字段暂无数值,则会忽略该函数相关的读取条件。

当数据源为MySQL时,

  • 例子 1:
    • 已同步数据中,取某一个字段最大值用于读取条件。
SELECT * FROM table1 WHERE _id >= 'last_max(_id)'     
  • 注:每次执行批量读取时,使用 last_max 自定义函数取已同步数据中 _id 字段最大值,读取大于等于 _id 已同步最大值的数据。
  • 例子 2:
    • 以日期字段作为读取条件,每次只同步当前日期减一天的数据,并且只同步未曾读取的数据。
SELECT * FROM `table1` WHERE `date` > 'last_max(date)' AND `date` <= CURDATE()-1
  • 注:每次只同步 date 字段值大于已同步数据中 date 字段最大值,并且只同步昨天的数据(date 字段值样例:2019-08-01)
  • 例子 3:
    • 以时间字段作为读取条件,每次只同步一个小时前的数据,并且只同步未曾读取的数据。
  SELECT * FROM `table1` WHERE `update_time` > 'last_max(update_time)' AND `update_time` <= DATE_SUB(NOW(), INTERVAL 24 HOUR)
  • 注:每次只同步 update_time 字段值大于已同步数据中 update_time 字段最大值,并且只同步到当前时间减去 1 小时的数据(update_time 字段值样例:2019-08-01 00:00:00)

当数据源为Oracle时

  • 例子 1:
    • 已同步数据中,取某一个字段最大值用于读取条件。
SELECT * FROM "table1" WHERE "_id" >= 'last_max(_id)'
  - 注:每次执行批量读取时,使用 last_max 自定义函数取已同步数据中 _id 字段最大值,读取大于等于 _id 已同步最大值的数据。
  • 例子 2:
    • 以日期字段作为读取条件,每次只同步当前日期减一天的数据,并且只同步未曾读取的数据。
SELECT * FROM "table1" WHERE "date" > timestamp 'last_max(date)' AND "date" <= sysdate-1
  • 注:
    • 每次只同步 date 字段值大于已同步数据中 date 字段最大值,并且只同步昨天的数据(date 字段值样例:2019-08-01 00:00:00)
    • sysdate 函数会获取当前时间,若以当前时间作为条件做计算:
      • 减 1 天,可设置为:sysdate-1
      • 减 1 小时,可设置为:sysdate-1/24
      • 减 1 分钟,可设置为:sysdate-1/(24*60)
      • 减 1 秒钟,可设置为:sysdate-1/(246060)

当数据源为SQL Server时

  • 例子 1:
    • 已同步数据中,取某一个字段最大值用于读取条件。
SELECT * FROM [table1] WHERE [_id] >= 'last_max(_id)'
  • 注:每次执行批量读取时,使用 last_max 自定义函数取已同步数据中 _id 字段最大值,读取大于等于 _id 已同步最大值的数据。
  • 例子 2:
    • 以日期字段作为读取条件,每次只同步当前日期减一天的数据,并且只同步未曾读取的数据。
SELECT * FROM [table1] WHERE date > last_max(date) AND [date] < DATEADD(dd, -1, getdate())
  • 注:
    • 每次只同步 date 字段值大于已同步数据中 date 字段最大值,并且只同步昨天的数据
      • 支持 date 字段类型为 date(样例:2019-08-01)
      • 支持 date 字段类型为 datetime(样例:2018-05-14 17:00:16.35)
      • 支持 date 字段类型为 datetime2(样例:2018-05-14 17:00:16.352171)
      • 支持 date 字段类型为 smalldatetime(样例:2018-05-14 17:00:00.0)
      • getdate() 函数会获取当前时间,若以当前时间作为条件做计算:
        • 减 1 天,可设置为:DATEADD(dd,-1,getdate())
        • 减 1 小时,可设置为:DATEADD(hh,-1,getdate())
        • 减 1 分钟,可设置为:DATEADD(mi,-1,getdate())
        • 减 1 秒钟,可设置为:DATEADD(ss,-1,getdate())

当数据源为PostgreSQL时

  • 例子 1:
    • 已同步数据中,取某一个字段最大值用于读取条件。
    • 注:每次执行批量读取时,使用 last_max 自定义函数取已同步数据中 _id 字段最大值,读取大于等于 _id 已同步最大值的数据。
SELECT * FROM "table1" WHERE "_id" >= 'last_max(_id)'
  • 例子 2:
    • 以日期字段作为读取条件,每次只同步当前日期减一天的数据,并且只同步未曾读取的数据。
SELECT * FROM "table1" WHERE date >  last_max(date) AND "date" < DATEADD(dd, -1, getdate())
  - 注:
- 每次只同步 date 字段值大于已同步数据中 date 字段最大值,并且只同步昨天的数据
- 支持 date 字段类型为 date(样例:2019-08-01)
- 支持 date 字段类型为 timestamp(样例:2019-08-01 00:00:00)
- getdate() 函数会获取当前时间,若以当前时间作为条件做计算:
- 减 1 天,可设置为:current_timestamp - interval '1 day'
- 减 1 小时,可设置为:current_timestamp - interval '1 hour'
- 减 1 分钟,可设置为:current_timestamp - interval '1 minute'
- 减 1 秒钟,可设置为:current_timestamp - interval '1 second'