跳到主要内容
版本:v4.24

数据加载策略

数据加载策略是将数据写入目的地时,系统执行的写入方式与冲突解决方法的策略配置。

关于此功能

◎ 增量处理模式​

在 DataPipeline 系统中,为了提升写入效率,我们将数据写入分成小的批次少量多次执行写入,为了提升写入效率,我们提供两种增量处理模式可供选择。

  • 全增量模式
    • 即将数据源的全部增量数据依次写入数据目的地,可以保证数据全局一致性。
  • 精简增量模式
    • 即在一个写入批次内,将同一主键的增量数据的最后一次变化同步至目的地,可以保证数据最终一致性。该模式需要数据源增量数据获取开启日志补全。

◎ 数据加载方式​

在将数据写入数据目的地的过程中,可以通过配置数据加载方式来变更数据目的地写入时提交的 SQL 语句类型,以变更数据加载方式。

当前版本支持的数据加载方式有:Insert、Update、Delete、Ignore(忽略)、Merge(Upsert)。

数据加载原理​

注意:下表中的说明和描述只针对配置逻辑主键的目的地表

源操作目的地策略原理说明
insertinsertDataPipeline写入数据执行handleInsert(insert after)
updateDataPipeline写入数据执行handleUpdate:
update 表名 set 主键列 = after, 普通列 = after where 主键列1 = before AND 主键列2 = before
举例说明:如果源端是新增一条记录 insert (id = 3),那么目标端对应的 update(id = 3) 这条记录,除非目标端有 id = 3 这条记录,否则这个动作无意义
deleteDataPipeline写入数据执行handleDelete:
delete from 表名 where 主键列 in( before1,before2 , ... 这里没有before值所以只能用after)
举例说明:如果源端是新增一条记录 insert (id = 3),那么目标端对应的 delete(id = 3) 掉一条记录;除非目标端有 id = 3 这条记录,否则这个动作无意义
mergemerge原则: 有则更新无则插入,每个节点的实现方式可能不一致;
merge方法的执行原理:
1. “有”如何理解:数据库已经存在一条主键或唯一索引相同的记录,如何判断:直接insert into ,如果报错说明"有",不报错说明没有那就直接插入成功了;
2. “更新”如何理解:
1. 可以选择先基于主键或唯一索引删除旧的记录handleDelete,然后重新插入handleInsert;
2. 还可以直接基于主键或唯一索引更新这条记录;
举例说明:如果源端是新增一条记录 insert (id = 3),目标端直接insert(id = 3),如果不报错说明不存在主键或者唯一索引冲突的记录,如果报错那么说明存在冲突;
就先执行handleDelete(id = 3,这里按照删除的原则来看优先使用before,没有则使用after,所以这里使用after) 删掉这条记录,然后再执行handleInsert(id = 3) 这条记录,这三个动作是原子的;mysql使用replace into xxx values(after列值)就可以原子的实现这三个动作
updateinsert+ DataPipeline写入数据执行handleInsert:
- insert into 表名 value(主键列,普通列) values(主键列值after,普通列值after))
+ 逻辑主键变更:
- DataPipeline写入数据执行handleInsert:insert into 表名 value(主键列,普通列) values(主键列值after,普通列值after))
- update拆分策略:对于不支持update 或 merge 操作的节点作为目的地时,且设置逻辑主键并且逻辑主键发生变更时,需设置update拆分策略来保证数据一致性
举例说明:
1. 更新普通列:如果源端是更新一条记录update (where id = 3),那么目标端对应的 insert (id = 3) 一条记录; 既然源端可以更新主键 id=3 的记录,说明目标端应该存在这条记录,那么目标端执行大概率会报错,所以这个动作似乎也没有存在的意义
2. 更新逻辑主键列:如果源端是更新一条记录 update id = 5 where id = 3 ,那么目标端会对应的执行 insert (id = 5),执行后源端只有一条 id =5 的记录,目标端则会多出一条 id = 3的记录
1. 如果类似于Kafka或者Datahub等在目标端不支持 Delete 操作的节点如果页面显示配置了Delete,逻辑主键变更就拆分为D+I,而这类节点因为只有Insert策略,所以拆分为D+I时,下游会insert (before),insert (after) 2条记录
update+ DataPipeline写入数据执行handleUpdate:
- update 表名 set 主键列 = after, 普通列 = after where 主键列 = before AND 主键列2 = before...
- 原则:删除条件优先使用before,没有before再使用data
+ 逻辑主键变更:
- DataPipeline写入数据执行handleUpdate:update 表名 set 主键列 = after, 普通列 = after where 主键列1 = before AND 主键列2 = before...
- update拆分策略:对于不支持update 或 merge 操作的节点作为目的地时,且设置逻辑主键并且逻辑主键发生变更时,需设置update拆分策略来保证数据一致性
举例说明:
+ 更新普通列:如果源端是更新一条记录update (where id = 3),那么目标端对应的 update (where id = 3)
+ 更新逻辑主键列:如果源端是更新一条记录update id = 5 where id = 3,那么目标端会对应的执行 update id = 5 where id = 3,注意源端能执行不代表目标端能执行,所以选择这种策略,可能需要注意一些不能修改主键的数据库。如果有修改主键的场景,并且目标端数据库不支持直接修改主键时,请切换为 update → merge 策略或使用 update 拆分策略
delete+ DataPipeline写入数据执行handleDelete:
- delete from 表名 where 主键列 in( before1,before2 )
+ 逻辑主键变更:
- DataPipeline写入数据执行handleDelete:delete from 表名 where 主键列 in( before1,before2 )
举例说明:
+ 更新普通列:如果源端是更新一条记录update (where id = 3),那么目标端对应的 delete (id = 3) 掉一条记录,既然源端可以更新主键id=3的记录,说明目标端应该存在这条记录,那么目标端确实可以删除成功
+ 更新逻辑主键列:如果源端是更新一条记录 update id =5 where id = 3 ,那么目标端对应操作为 delete (id = 3) 一条记录,既然源端可以更新主键id=3的记录,说明目标端应该存在这条记录,那么目标实可以删除成功
mergemerge原则: 有则更新无则插入,每个节点的实现方式可能不一致;
merge方法的执行原理:
1. “有”如何理解:数据库已经存在一条主键或唯一索引相同的记录,可以选择直接 insert into 如果报错说明"有",不报错说明没有那就直接插入成功了;
2. “更新”如何理解:
1. 可以选择先基于主键或唯一索引删除旧的记录 handleDelete,然后重新插入 handleInsert;这种情况下如果目标表有索引时,性能开销较大,所以需要尽量避免这种情况,尤其是客户有历史数据时;
2. 还可以直接基于主键或唯一索引更新这条记录
逻辑主键变更:
+ DataPipeline会将update拆为D (before) + I (after)
- 目标端会先执行handleDelete:delete from 表名 where 主键列 in(before1,before2);
- 再执行handleInsert:insert into 表名 value (主键列,普通列) values (主键列值after,普通列值after)
- update拆分:对于不支持 update 或 merge 操作的节点作为目的地时,且设置逻辑主键并且逻辑主键发生变更时,需设置update拆分策略来保证数据一致性
举例说明:
+ 更新普通列:如果源端是删除一条记录update (id = 3),按照 handleMerge 的原则,目标端先直接 insert (id = 3),源端既然能update这个主键大概率说明目标端这条记录存在,目标端会先删除id = 3的记录,然后再插入id = 3的记录,而且因为是update,所以会有其他列值更新
+ 更新逻辑主键列:如果源端是更新一条记录 update id = 5 where id = 3 ,那么目标端对应执行 delete (id = 3) 这一条记录,然后 insert (id = 5),执行后目标端和源端都是只有一条id = 5的记录;
deleteinsertDataPipeline写入数据执行handleInsert:
insert into 表名 value(主键列,普通列) values(主键列值after,普通列值after)
举例说明:如果源端是删除一条记录delete (where id = 3),那么目标端对应的 inser t(id = 3) 一条记录
updateDataPipeline写入数据执行handleUpdate:
update 表名 set 主键列 = after, 普通列 = after where 主键列1 = before AND 主键列2 = before
举例说明:如果源端是删除一条记录delete(where id = 3那么目标端对应的update(id = 3)一条记录
deleteDataPipeline写入数据执行handleDelete:
delete from 表名 where 主键列 in( before1,before2 )
举例说明:如果源端是删除一条记录delete (where id = 3),那么目标端对应的delete(id = 3)掉一条记录
mergemerge原则: 有则更新无则插入,每个节点的实现方式可能不一致;
merge方法的执行原理:
1. “有”如何理解:数据库已经存在一条主键或唯一索引相同的记录,可以选择直接insert into 如果报错说明"有",不报错说明没有那就直接插入成功了;
2. “更新”如何理解:
1. 可以选择先基于主键或唯一索引删除旧的记录handleDelete,然后重新插入handleInsert;这种情况下如果目标表有索引时,性能开销较大,所以需要尽量避免这种情况,尤其是客户有历史数据时应该在文档中友情提示;
2. 还可以直接基于主键或唯一索引更新这条记录;
举例说明:如果源端是删除一条记录insert (id = 3),按照 handleMerge 的原则,目标端先直接 insert (id = 3),源端既然能Delete这个主键大概率说明目标端这条记录存在,此时目标端又会先删除 id = 3的记录,然后再插入id = 3的记录,而且因为是delete,所以这条记录不会有任何列值的更新,但是却触发了一次D+I
信息

现支持update拆分策略的节点有:Kafka、Datahub、Argo、Starrocks、SelectDB、Doris、Clickhouse

MySQL系节点为目的地的加载逻辑图​

◎错误数据冲突策略​

在向目的地数据写入过程中,可能会出现待写入数据冲突等报错,如主键或唯一索引冲突,导致数据写入失败。遇到上述情况时,通过配置错误数据冲突策略,匹配设置的自定义错误关键字,可以暂停数据任务或将数据写入错误队列后续处理来应对。

错误数据冲突策略配置​
添加错误数据冲突规则​

点击添加策略规则按钮,输入以下配置项:

  • 名称:自定义规则名称
    • 不超过50个字符,支持字母、数字、下划线;
    • 不支持空格、中文及其他字符
    • 不允许数字&下划线开头
    • 同一个链路/任务不允许出现同名规则
  • 关键字:数据写入冲突报错关键字(自定义)
    • 不超过200个字符
    • 不支持中文
  • 类型:
    • 主键或唯一索引冲突(默认选项,同一个链路中只有一个主键或唯一索引冲突配置)
    • 自定义冲突(本次新增功能)
  • 动作:
    • 暂停数据任务:不处理该规则的关键字报错,即默认报错暂停任务(默认选项)
    • 继续运行,错误数据进入错误队列:当匹配到关键字相应报错信息后,该batch数据进入错误队列任务继续
修改错误数据冲突规则​

点击规则列表中操作下的“修改”按钮,规则名称/关键字/选择规则可进行修改,不可的修改规则类型。

删除错误数据冲突规则​
  • 单独删除:规则列表中,操作列中点击“删除”按钮,可删除相应规则
  • 批量删除:选中需要删除的规则后,规则列表上方显示“删除”按钮,点击后可批量删除选中规则
查询错误数据冲突规则​

可以根据规则名称/规则关键字进行相应规则的查询

链路与任务的错误数据冲突策略关系​
  • 数据链路中修改错误数据冲突策略,只会在新建任务中生效,对已有任务不产生影响
  • 数据任务中修改错误数据冲突策略,只会在当前任务中生效,对链路不产生影响,且任务与任务间相互隔离
警告

目前错误数据加载策略中,默认配置“主键或唯一索引冲突”规则,默认动作为“暂停数据任务”,可对其动作进行修改,但无法删除

操作步骤​

  1. 在数据链路详情页-策略配置 tab 中找到数据加载策略。
  2. 根据需求进行数据加载策略配置。
  3. 每次新增配置后,需点击“保存”。

◎ 场景说明:数据目的地拉链表配置​

在配置数据目的地过程中,可以在数据目的地添加一列,将该列标识为联合主键,通过清洗脚本赋值,其中可以存储数据源 DML 标识数据。

在数据加载方式中配置中,选择 insert,即可实现目的地拉链表数据写入。

警告
  • 当数据加载方式配置为 update 或 delete 时,执行更新或删除依赖数据目的地中存在带有和待写入数据主键相同的数据;如目的地不存在该条数据,update 或 delete 操作将被提交至数据目的地节点,根据各个节点处理特性不同,部分目的地可以正常同步,部分目的地将报错暂停。
  • 精简增量可以提升数据写入效率,但在对数据一致性要求高的场景中,请使用全增量模式。
  • 根据数据任务所选数据映射不同,在数据任务执行过程中,部分数据加载方式不支持,如 Kafka 数据目的地仅支持“insert”。
  • 当数据任务选择数据链路时,数据任务将读取链路的数据加载策略,并作为默认设置,任务可以自行修改数据加载策略;在数据任务选择数据链路后,链路修改数据加载策略,任务将不会执行链路的修改。