版本:v4.21
数据加载策略
数据加载策略是将数据写入目的地时,系统执行的写入方式与冲突解决方法的策略配置。
关于此功能
◎ 增量处理模式
在 DataPipeline 系统中,为了提升写入效率,我们将数据写入分成小的批次少量多次执行写入,为了提升写入效率,我们提供两种增量处理模式可供选择。
- 全增量模式
- 即将数据源的全部增量数据依次写入数据目的地,可以保证数据全局一致性。
- 精简增量模式
- 即在一个写入批次内,将同一主键的增量数据的最后一次变化同步至目的地,可以保证数据最终一致性。该模式需要数据源增量数据获取开启日志补全。
◎ 数据加载方式
在将数据写入数据目的地的过程中,可以通过配置数据加载方式来变更数据目的地写入时提交的 SQL 语句类型,以变更数据加载方式。
当前版本支持的数据加载方式有:Insert、Update、Delete、Ignore(忽略)、Merge(Upsert)。
◎错误数据冲突策略
在向目的地数据写入过程中,可能会出现待写入数据冲突等报错,如主键或唯一索引冲突,导致数据写入失败。遇到上述情况时,通过配置错误数据冲突策略,匹配设置的自定义错误关键字,可以暂停数据任务或将数据写入错误队列后续处理来应对。
错误数据冲突策略配置
添加错误数据冲突规则
点击添加策略规则按钮,输入以下配置项:
- 名称:自定义规则名称
- 不超过50个字符,支持字母、数字、下划线;
- 不支持空格、中文及其他字符
- 不允许数字&下划线开头
- 同一个链路/任务不允许出现同名规则
- 关键字:数据写入冲突报错关键字(自定义)
- 不超过200个字符
- 不支持中文
- 类型:
- 主键或唯一索引冲突(默认选项,同一个链路中只有一个主键或唯一索引冲突配置)
- 自定义冲突(本次新增功能)
- 动作:
- 暂停数据任务:不处理该规则的关键字报错,即默认报错暂停任务(默认选项)
- 继续运行,错误数据进入错误队列:当匹配到关键字相应报错信息后,该batch数据进入错误队列任务继续
修改错误数据冲突规则
点击规则列表中操作下的“修改”按钮,规则名称/关键字/选择规则可进行修改,不可的修改规则类型。
删除错误数据冲突规则
- 单独删除:规则列表中,操作列中点击“删除”按钮,可删除相应规则
- 批量删除:选中需要删除的规则后,规则列表上方显示“删除”按钮,点击后可批量删除选中规则
查询错误数据冲突规则
可以根据规则名称/规则关键字进行相应规则的查询
链路与任务的错误数据冲突策略关系
- 数据链路中修改错误数据冲突策略,只会在新建任务中生效,对已有任务不产生影响
- 数据任务中修改错误数据冲突策略,只会在当前任务中生效,对链路不产生影响,且任务与任务间相互隔离
警告
目前错误数据加载策略中,默认配置“主键或唯一索引冲突”规则,默认动作为“暂停数据任务”,可对其动作进行修改,但无法删除
操作步骤
- 在数据链路详情页-策略配置 tab 中找到数据加载策略。
- 根据需求进行数据加载策略配置。
- 每次新增配置后,需点击“保存”。
◎ 场景说明:数据目的地拉链表配置
在配置数据目的地过程中,可以在数据目的地添加一列,将该列标识为联合主键,通过清洗脚本赋值,其中可以存储数据源 DML 标识数据。
在数据加载方式中配置中,选择 insert,即可实现目的地拉链表数据写入。
警告
- 当数据加载方式配置为 update 或 delete 时,执行更新或删除依赖数据目的地中存在带有和待写入数据主键相同的数据;如目的地不存在该条数据,update 或 delete 操作将被提交至数据目的地节点,根据各个节点处理特性不同,部分目的地可以正常同步,部分目的地将报错暂停。
- 精简增量可以提升数据写入效率,但在对数据一致性要求高的场景中,请使用全增量模式。
- 根据数据任务所选数据映射不同,在数据任务执行过程中,部分数据加载方式不支持,如 Kafka 数据目的地仅支持“insert”。
- 当数据任务选择数据链路时,数据任务将读取链路的数据加载策略,并作为默认设置,任务可以自行修改数据加载策略;在数据任务选择数据链路后,链路修改数据加载策略,任务将不会执行链路的修改。