跳到主要内容
版本:v2.7

回滚功能

「回滚按钮」​

SQL类型数据源实时模式作为增量数据的读取方式时,提供回滚机制

  • 回滚功能依托于用户新建「数据源」时设置的打点频率和打点范围
  • 打点频率决定了回滚的最小粒度。假设打点范围为一天,意味着只能从一天前的打点时间回滚;如果设置打点频率为一小时,系统就会每小时记录一个打点位置。

  • 目前不支持单个表的回滚,只能回滚该「数据任务」下的所有表。
  • 回滚时,下游用户需要自己决定是否进行「数据清理」,DataPipeline是不会在回滚前去删掉下游的数据的。
  • 同时,用户得保证自己缓存的日志最大范围。假设我们打了3天的点,但用户如果每天清除binlog的话也是无法追溯的。
    • 激活状态下,设置「回滚机制」后,立即生效,开始数据回滚;
    • 暂停状态,编辑「回滚机制」后,点击「重启」开始生效。

点击「回滚」,立即弹窗显示「回滚设置」。用户可以选择「回滚」的方式:有两个选项:一、按「回滚时间」(默认),二、按「回滚位置」;

  • 按「回滚时间」(默认)
    • 用户可点击日历按钮选择过去时间

  • 选择完要回滚的时间后,展示后端返回的真实打点位置线,打点间隔根据用户设置的打点频率进行变动
  • 默认直接定位到离该时间点最近的时间戳上,鼠标浮上下方展示出该时间戳,并且要求位置线下方展示出该时间戳的具体位置信息,每个数据源展示不同。
    • 数据源为mysql    显示Binlog Postion、Binlog文件名称、GTID
    • 数据源为:Oracle         显示LogMiner scn
    • 数据源为:SQL Server    显示Change tracking version
    • 数据源为:PostgreSQL       显示lsn
  • 默认展示出附近十条打点位置
  • 用户可以鼠标拖拽至自己想回滚的时间戳,下方时间戳具体位置信息根据用户选择随时变动,方便用户查看
  • 按回滚的位置
    • 用户选择按回滚位置进行回滚时,不同的数据源显示不同。
      • 数据源为mysql
        • 显示Binlog Postion(必填)、Binlog文件名称(必填)、GTID(选填)
      • 数据源为:Oracle
        • 显示LogMiner scn(必填)
      • 数据源为:SQL Server
        • 显示Change tracking version(必填)
      • 数据源为:PostgreSQL
        • 显示lsn (必填)

  • 用户设置完毕后,可点击保存
    • 点击「保存」后,任务将从用户指定的时间点开始重新同步该任务所有表的增量数据。
    • 再次点击回滚按钮,可重新选择回滚位置。
  • 数据源未被任务占用时,允许修改打点频率和打点范围,修改后的数据源按照新设置进行打点。
  • 每个数据源独立存在,当数据源配置信息一致时可设置不同的打点频率和打点范围。