跳到主要内容
版本:v4.22

数据加载策略

数据加载策略是将数据写入目的地时,系统执行的写入方式与冲突解决方法的策略配置。

关于此功能​

增量处理模式​

在 DataPipeline 系统中,为了提升写入效率,我们将数据写入分成小的批次少量多次执行写入,为了提升写入效率,我们提供两种增量处理模式可供选择。

  • 全增量模式
    • 即将数据源的全部增量数据依次写入数据目的地,可以保证数据全局一致性。
  • 精简增量模式
    • 即在一个写入批次内,将同一主键的增量数据的最后一次变化同步至目的地,可以保证数据最终一致性。该模式需要数据源增量数据获取开启日志补全。

数据加载方式​

参考逻辑主键的配置:

目的地的加载方式业务含义条件及限制
Insert向目的地以insert的方式插入数据无需逻辑主键,如果目的地有主键,唯一索引,可能会产生唯一索引冲突。
Ingore无需向目的地写入该数据无,通常用于读取验证。
Update以逻辑主键作为查询条件,更新数据注意该语法,执行SQL为
Update XX table set XX col = XX where 【逻辑主键】=XX。
因此如果set的字段和逻辑主键是相同的,也就是逻辑主键发生了变更,需要结合去看具体这个数据库是否支持,如果支持则可以,如果不支持的话,需要使用merge语法处理。
Merge有则更新无则插入。判断有无的标准是逻辑主键Merge的含义是有则更新无则插入。
1. 如果是非逻辑主键变更,会按照该语义优先插入,当插入发现逻辑主键的值冲突后,会转为update语法。
2. 如果是逻辑主键变更,则会进行拆分,拆分为Delete 。。。 where 逻辑主键= before value 在Insert 。。。after value

因此需要DP要处理的数据值里包含before和after value。如果不包含before value,则无法处理主键变更。
Delete以逻辑主键为查询条件,删除数据需要有逻辑主键

在将数据写入数据目的地的过程中,可以通过配置数据加载方式来变更数据目的地写入时提交的 SQL 语句类型,以变更数据加载方式。

所有的目的地节点,如果支持update,merge,delete即支持逻辑主键的配置,对于例如消息队列,文件系统等其他仅支持append的将不支持设置逻辑主键,加载策略的配置里也没有以上三种加载方式。

当前版本支持的数据加载方式有:Insert、Update、Delete、Ignore(忽略)、Merge(Upsert)。

如上表可知,加载对于是否包含before value以及是否是逻辑主键变更将会影响到加载的行为。因此需要用户结合源节点的读取方式以及读取方式的配置来判断,该方式是否含有before value以及是否可以正确的获取到变更的字段。

对于不同数据源的数据获取方式,DML 获取存在限制:

详情可以参考各个节点的配置说明。

数据加载方式-有主键表​

对于不同数据目的地类型,数据加载方式的处理会有不同。详情请参考各个节点的DML写入相关的说明。同时各个数据节点对于对应的语法会有一些使用限制及约束。

数据加载方式-无主键表​

在将数据写入数据目的地的过程中,可以通过配置数据加载方式来变更数据目的地写入时提交的 SQL 语句类型,以变更数据加载方式。

当前版本支持的数据加载方式有:Insert、Ignore(忽略)。

错误数据冲突策略​

在向目的地数据写入过程中,可能会出现待写入数据冲突等报错,如主键或唯一索引冲突,导致数据写入失败。遇到上述情况时,通过配置错误数据冲突策略,匹配设置的自定义错误关键字,可以暂停数据任务或将数据写入错误队列后续处理来应对。

错误数据冲突策略配置​

添加错误数据冲突规则​

点击添加策略规则按钮,输入以下配置项:

  • 名称:自定义规则名称
    • 不超过50个字符,支持字母、数字、下划线;
    • 不支持空格、中文及其他字符
    • 不允许数字&下划线开头
    • 同一个链路/任务不允许出现同名规则
  • 关键字:数据写入冲突报错关键字(自定义)
    • 不超过200个字符
    • 不支持中文
  • 类型:
    • 主键或唯一索引冲突(默认选项,同一个链路中只有一个主键或唯一索引冲突配置)
    • 自定义冲突(本次新增功能)
  • 动作:
    • 暂停数据任务:不处理该规则的关键字报错,即默认报错暂停任务(默认选项)
    • 继续运行,错误数据进入错误队列:当匹配到关键字相应报错信息后,该batch数据进入错误队列任务继续
修改错误数据冲突规则​

点击规则列表中操作下的“修改”按钮,规则名称/关键字/选择规则可进行修改,不可的修改规则类型。

删除错误数据冲突规则​
  • 单独删除:规则列表中,操作列中点击“删除”按钮,可删除相应规则
  • 批量删除:选中需要删除的规则后,规则列表上方显示“删除”按钮,点击后可批量删除选中规则
查询错误数据冲突规则​

可以根据规则名称/规则关键字进行相应规则的查询

链路与任务的错误数据冲突策略关系​

  • 数据链路中修改错误数据冲突策略,只会在新建任务中生效,对已有任务不产生影响
  • 数据任务中修改错误数据冲突策略,只在当前任务中生效,不对链路产生影响,且任务与任务间相互隔离
警告

目前错误数据加载策略中,默认配置“主键或唯一索引冲突”规则,默认动作为“暂停数据任务”,可对其动作进行修改,但无法删除

操作步骤​

  1. 在数据链路详情页-策略配置 tab 中找到数据加载策略。
  2. 根据需求进行数据加载策略配置。
  3. 每次新增配置后,需点击“保存”。

场景说明:数据目的地拉链表配置​

在配置数据目的地过程中,可以在数据目的地添加一列,将该列标识为联合主键,通过清洗脚本赋值,其中可以存储数据源 DML 标识数据。

在数据加载方式中配置中,选择 insert,即可实现目的地拉链表数据写入。

警告
  • 当数据加载方式配置为 update 或 delete 时,执行更新或删除依赖数据目的地中存在带有和待写入数据主键相同的数据;如目的地不存在该条数据,update 或 delete 操作将被提交至数据目的地节点,根据各个节点处理特性不同,部分目的地可以正常同步,部分目的地将报错暂停。
  • 对于 Greenplum 数据目的地,Update 或 Delete 语句由于数据库限制,可能会导致写入性能下降。
  • 精简增量可以提升数据写入效率,但在对数据一致性要求高的场景中,请使用全增量模式。
  • 根据数据任务所选数据映射不同,在数据任务执行过程中,部分数据加载方式不支持,如 Kafka 数据目的地仅支持“insert”。

​