数据加载策略
数据加载策略是将数据写入目的地时,系统执行的写入方式与冲突解决方法的策略配置。
关于此功能
◎ 增量处理模式
在 DataPipeline 系统中,为了提升写入效率,我们将数据写入分成小的批次少量多次执行写入,为了提升写入效率,我们提供两种增量处理模式可供选择。
- 全增量模式
- 即将数据源的全部增量数据依次写入数据目的地,可以保证数据全局一致性。
- 精简增量模式
- 即在一个写入批次内,将同一主键的增量数据的最后一次变化同步至目的地,可以保证数据最终一致性。该模式需要数据源增量数据获取开启日志补全。
◎ 数据加载方式
在将数据写入数据目的地的过程中,可以通过配置数据加载方式来变更数据目的地写入时提交的 SQL 语句类型,以变更数据加载方式。
所有的目的地节点,如果支持update,merge,delete即支持逻辑主键的配置,对于例如消息队列,文件系统等其他仅支持append的将不支持设置逻辑主键,加载策略的配置里也没有以上三种加载方式。
当前版本支持的数据加载方式有:Insert、Update、Delete、Ignore(忽略)、Merge(Upsert)。
参考逻辑主键的配置:
| 目的地的加载方式 | 业务含义 | 条件及限制 |
|---|---|---|
| Insert | 向目的地以insert的方式插入数据 | 无需逻辑主键,如果目的地有主键,唯一索引,可能会产生唯一索引冲突。 |
| Ingore | 无需向目的地写入该数据 | 无,通常用于读取验证。 |
| Update | 以逻辑主键作为查询条件,更新数据 | 注意该语法,执行SQL为 Update XX table set XX col = XX where 【逻辑主键】=XX。 因此如果set的字段和逻辑主键是相同的,也就是逻辑主键发生了变更,需要结合去看具体这个数据库是否支持,如果支持则可以,如果不支持的话,需要使用merge语法处理。 |
| Merge | 有则更新无则插入。判断有无的标准是逻辑主键 | Merge的含义是有则更新无则插入。 1. 如果是非逻辑主键变更,会按照该语义优先插入,当插入发现逻辑主键的值冲突后,会转为update语法。 2. 如果是逻辑主键变更,则会进行拆分,拆分为Delete 。。。 where 逻辑主键= before value 在Insert 。。。after value 因此需要DP要处理的数据值里包含before和after value。如果不包含before value,则无法处理主键变更。 |
| Delete | 以逻辑主键为查询条件,删除数据 | 需要有逻辑主键 |
如上表可知,加载对于是否包含before value以及是否是逻辑主键变更将会影响到加载的行为。因此需要用户结合源节点的读取方式以及读取方式的配置来判断,该方式是否含有before value以及是否可以正确的获取到变更的字段。
对于不同数据源的数据获取方式,DML 获取存在限制:详情可以参考各个节点的配置说明。
◎ 数据加载方式-有主键表
对于不同数据目的地类型,数据加载方式的处理会有不同。详情请参考各个节点的DML写入相关的说明。同时各个数据节点对于对应的语法会有一些使用限制及约束。
◎ 数据加载方式-无主键表
在将数据写入数据目的地的过程中,可以通过配置数据加载方式来变更数据目的地写入时提交的 SQL 语句类型,以变更数据加载方式。
当前版本支持的数据加载方式有:Insert、Ignore(忽略)。
◎错误数据冲突策略
在向目的地数据写入过程中,可能会出现待写入数据冲突等报错,如主键或唯一索引冲突,导致数据写入失败。遇到上述情况时,通过配置错误数据冲突策略,匹配设置的自定义错误关键字,可以暂停数据任务或将数据写入错误队列后续处理来应对。
错误数据冲突策略配置
添加错误数据冲突规则
点击添加策略规则按钮,输入以下配置项:
- 名称:自定义规则名称
- 不超过50个字符,支持字母、数字、下划线;
- 不支持空格、中文及其他字符
- 不允许数字&下划线开头
- 同一个任务不允许出现同名规则
- 关键字:数据写入冲突报错关键字(自定义)
- 不超过200个字符
- 不支持中文
- 类型:
- 主键或唯一索引冲突(默认选项,同一个任务中只有一个主键或唯一索引冲突配置)
- 自定义冲突(本次新增功能)
- 动作:
- 暂停数据任务:不处理该规则的关键字报错,即默认报错暂停任务(默认选项)
- 继续运行,错误数据进入错误队列:当匹配到关键字相应报错信息后,该batch数据进入错误队列任务继续
修改错误数据冲突规则
点击规则列表中操作下的“修改”按钮,规则名称/关键字/选择规则可进行修改,不可的修改规则类型。
删除错误数据冲突规则
- 单独删除:规则列表中,操作列中点击“删除”按钮,可删除相应规则
- 批量删除:选中需要删除的规则后,规则列表上方显示“删除”按钮,点击后可批量删除选中规则
查询错误数据冲突规则
可以根据规则名称/规则关键字进行相应规则的查询
目前错误数据加载策略中,默认配置“主键或唯一索引冲突”规则,默认动作为“暂停数据任务”,可对其动作进行修改,但无法删除
操作步骤
- 在数据任务详情页-策略配置 tab 中找到数据加载策略。
- 根据需求进行数据加载策略配置。
- 每次新增配置后,需点击“保存”。
◎ 场景说明:数据目的地拉链表配置
在配置数据目的地过程中,可以在数据目的地添加一列,将该列标识为联合主键,通过清洗脚本赋值,其中可以存储数据源 DML 标识数据。
在数据加载方式中配置中,选择 insert,即可实现目的地拉链表数据写入。
- 当数据加载方式配置为 update 或 delete 时,执行更新或删除依赖数据目的地中存在带有和待写入数据主键相同的数据;如目的地不存在该条数据,update 或 delete 操作将被提交至数据目的地节点,根据各个节点处理特性不同,部分目的地可以正常同步,部分目的地将报错暂停。
- 精简增量可以提升数据写入效率,但在对数据一致性要求高的场景中,请使用全增量模式。
- 根据数据任务所选数据映射不同,在数据任务执行过程中,部分数据加载方式不支持,如 Kafka 数据目的地仅支持“insert”。
数据加载原理说明
源端为insert类型消息
| 目的地操作 | 执行原理 | 方法原则 | 举例说明 | 结论 |
|---|---|---|---|---|
| insert→insert | 目标端执行handleInsert方法 (insert after),这是比较普遍的使用场景 | |||
| insert→delete | 目标端执行handleDelete方法 (delete from 表名 where 主键列 in( before1,before2 , ... 这里没有before值所以只能用after) | + 删除条件优先使用before + 没有before再使用after | 如果源端是新增一条记录insert (id = 3),那么目标端对应的delete(id = 3)掉一条记录,除非目标端有 id=3 这条记录,否则这个动作无意义 | + 更新条件使用after + 当前加载策略的业务含义最终由此方法的执行原理和方法原则解释 |
| insert→update | 目标端执行handleUpdate方法 (update 表名 set 主键列 = after, 普通列 = after where 主键列1 = before AND 主键列2 = before) | + 更新条件优先使用before + 没有before再使用after | 如果源端是新增一条记录insert (id = 3),那么目标端对应的update(id = 3)这条记录,除非目标端有id = 3 这条记录,否则这个动作无意义 | + 更新条件使用after + 当前加载策略的业务含义最终由此方法的执行原理和方法原则解释 |
| insert->merge | + “有”如何理解:数据库已经存在一条主键或唯一索引相同的记录,如何判断:直接insert into ,如果报错说明"有",不报错说明没有那就直接插入成功了; + “更新”如何理解: - 可以选择先基于主键或唯一索引删除旧的记录handleDelete,然后重新插入handleInsert; - 还可以直接基于主键或唯一索引更新这条记录; | 有则更新无则插入(每个节点实现merge方式存在区别) | 如果源端是新增一条记录insert (id = 3),目标端直接insert(id = 3) + 如果不报错说明不存在主键或者唯一索引冲突的记录 + 如果报错那么说明存在冲突,就先执行handleDelete(id = 3,这里按照删除的原则来看优先使用before,没有则使用after,所以这里使用after) 删掉这条记录,然后再执行handleInsert(id = 3) 这条记录 + 这三个动作是原子的;mysql使用replace into xxx values(after列值)就可以原子的实现这三个动作 | + 更新条件使用after |
源端为delete类型消息
| 目的地操作 | 执行原理 | 方法原则 | 举例说明 | 结论 |
|---|---|---|---|---|
| delete→insert | 目标端执行_handleInsert_方法 (insert after),这是比较普遍的使用场景 | |||
| delete→delete | 目标端执行_handleDelete_方法 (delete from 表名 where 主键列 in(_ before1,before2 _) | + 删除条件优先使用before + 没有before再使用after | 如果源端是删除一条记录delete (where id = 3),那么目标端对应的delete(id = 3)掉一条记录; | + 更新条件使用after |
| delete->update | 目标端执行_handleUpdate_方法 (update 表名 set 主键列 = after, 普通列 = _after where _主键列1 = before AND 主键列2 = before) | + 更新条件优先使用before + 没有before再使用after | 如果源端是删除一条记录delete(where id = 3),那么目标端对应的update(id = 3)一条记录;除非目标端有id = 3 这条记录,否则这个动作无意义 | + 更新条件使用after + 当前加载策略的业务含义最终由此方法的执行原理和方法原则解释 |
| delete->merge | + “有”如何理解:数据库已经存在一条主键或唯一索引相同的记录,可以选择直接insert into 如果报错说明"有",不报错说明没有那就直接插入成功了 + “更新”如何理解: - 可以选择先基于主键或唯一索引删除旧的记录handleDelete,然后重新插入handleInsert - 还可以直接基于主键或唯一索引更新这条记录 | 有则更新无则插入(每个节点实现merge方式存在区别) | 如果源端是删除一条记录insert (id = 3),按照handleMerge的原则 + 目标端先直接insert(id = 3),源端既然能Delete这个主键大概率说明目标端这条记录存在 + 此时目标端又会先删除id = 3的记录,然后再插入id = 3的记录 + 而且因为是delete,所以这条记录不会有任何列值的更新,但是却触发了一次D+I,所以这个动作看起来也没意义 | + 更新条件使用after + 当前加载策略的业务含义最终由此方法的执行原理和方法原则解释 注意:使用该策略时,如果目标表有索引,则性能开销较大,所以需要尽量避免这种情况 |