端到端一致性策略
在数据同步过程中,数据一致性通常包括两种形式:
- 完整一致性(Exactly once)
- 最终一致性(At least once)
通常情况下,数据同步工具提供最终一致性支持,即可满足大部分业务场景要求,即至少向目的地写入一次增量数据,重复写入由目的地数据库的主键/唯一键保证结果幂等;在数据同步领域内,各厂商默认提供最终一致性功能。
DataPipeline 在之前的版本中,在功能逻辑层面提供了最终一致性的数据保障;但深挖本源、技术驱动的企业灵魂告诉我们,在技术上不断突破、提升,提供更好的技术方案保障客户数据任何情况下完整一致是我们不懈的追求。
因此,端到端一致性策略跟大家见面了。
关于此功能
在数据任务增量数据同步执行过程中,实时数据处理将被转换为一个一个连续的小 batch,每个 batch 的读取写入都以应用事务机制保障。
当读取写入任一环节出现失败情况,事务被回滚,任务会从之前的记录进度位点开始下一次事务读取写入。
在一个 batch 中,事务机制需要持久化读取进度与写入进度,对于关系型数据库目的地,进度将被持久化至目的地数据表;对于文件系统目的地,进度将被持久化至系统关系型数据库组件。
对于文件系统目的地,每个 batch 的数据会先被写入至临时数据目录,当完成全部读取与写入后,临时数据目录文件将会被挪移至正式目录,并在系统中持久化写入进度。
因此,对于不同类型的数据目的地,配置项会有所不同。
在任务的全量数据同步执行过程中,数据会先写入至临时表或临时目录,当完成全部读取与写入后,临时数据目录文件将会被挪移至正式目录,并在系统中持久化写入进度。
操作步骤
关系型数据库目的地
- 在数任务路详情-策略配置-端到端一致性策略中选择源与目的地
- 开启端到端一致性
- 选择写入进度记录表
- 复制建表语句至目的地创建进度记录表
- 刷新元数据并选择进度记录表
- 确认全量阶段临时表配置
文件系统目的地
- 在数据任务详情-策略配置-端到端一致性策略中选择源与目的地
- 开启端到端一致性
- 填写临时路径地址
临时文件路径将由数据源表名等元数据信息拼接生成,临时路径中数据与文件在完成一致性文件目录挪移后被删除
Kafka 数据目的地
- 在数据任务详情-策略配置-端到端一致性策略中选择源与目的地
- 开启端到端一致性
Kafka 目的地一致性需要创建数据目的地临时数据存储 Topic,需要数据目的地有 Topic 创建权限。
注意事项
端到端一致性功能现为 beta 版本,仅支持 MySQL 及类 MySQL 数据源到以下目的地:
- Oracle
- MySQL
- MS SQL Server
- IBM Db2
- PostgreSQL
- TiDB
- Apache Kafka
- OpenGauss
- Greenplum
- FTP
- HDFS
- Hive
- Inceptor
端到端一致性策略仅支持内存作为数据缓存的同步模式。
数据链路的一致性配置变更不会影响数据任务;
创建数据任务时,一致性配置默认使用链路中的一致性配置;
任务在未激活状态可以修改。