版本:v2.7
v2.6版本增量的逻辑如何实现?
Q:v2.6版本增量的逻辑如何实现?
A:在读取模式中选择批量模式,读取界面中可以选择 1)增量识别字段:选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例:SequenceID)、更新时间戳(例:UpdatedAt);2)设置where条件语句:若数据源表中无数字或时间类型,用户可根据需求设置 Where 语句,DataPipeline 提供last_max()函数帮助用户解决定时读取增量数据的需求。