版本:v5.2
3.4 数据校验
什么是校验任务
数据校验是DataPipeline产品继数据融合之后,在数据质量管理领域的探索,帮助用户发现数据源与数据目的地数据不一致的问题,以数据源数据为基准,校验数据目的地数据。
支持全量数据校验,您可以通过配置校验条件实现增量数据的定时校验。
从校验维度上,支持校验数据量及逐字段校验数据内容。
支持校验的数据节点类型:使用DataPipeline数据校验功能之前,您需确定当前版本支持的数据节点满足您的需求。
下表列出了DataPipeline数据校验功能支持的数据节点类型:
| 校验维度 | 支持节点 | 其他要求 |
|---|---|---|
| 数据量校验 | Oracle、MySQL、PostgreSQL、DB2、SQLServer、TiDB、DM、Inceptor、Hive、Elasticsearch、Oceanbase(MySQL租户)、Oceanbase(Oracle租户)、Argodb、Gbase 8s、GaussDB、KingBase V8、KingBase V9、TDSQL | 无 |
| 数据内容校验 | Oracle、MySQL、PostgreSQL、DB2、SQLServer、TiDB、DM、Oceanbase(MySQL租户),Oceanbase(Oracle租户),Argodb,Gbase 8s,GaussDB、KingBase V8、KingBase V9、TDSQL | 1. 数据内容校验要求数据源表与数据目的地表都存在主键或唯一索引,且主键字段或唯一索引该字段需要对应 2. 数据内容校验不支持包含联合主键或联合唯一索引的表。 |
校验方式
数据条数校验方式
1. DataPipeline 通过 JDBC 方式连接数据源节点与数据目的地节点,通过执行「SELECT count(*) FROM table_name WHERE condition 」查询语句获取数据源表与目的地表的条数。(WHERE子句的查询条件是用户在校验任务为表配置的校验条件。)
2. 将数据源与数据目的地条数进行比较。
数据内容校验方式
1. DataPipeline 通过 JDBC 方式连接数据源节点与数据目的地节点,通过执行「SELECT column1, column2, ... FROM table_name WHERE condition ORDER BY primary_key_column」查询语句来获取数据源表与目的地表的数据内容。(查询字段是用户在校验任务为表配置的校验字段,WHERE子句的查询条件是用户在校验任务为表置的校验条件。)
2. DataPipeline 在内存中将获取的数据转换为字符串格式,逐行逐字段对比转换后的值。
3. 当数据存在差异时,差异数据将存储至 DataPipeline 配置库。
数据内容校验需要最小内存计算方式=全部数据校验任务内存占用 + 650M+ 30%余量
- 全部数据校验任务内存占用估算方式=所有校验任务内存占用总和
- 单个数据校验任务内存占用估算方式=校验任务配置并发数(2数据源每批次获取数据量单条数据大小+2数据目的地每批次获取数据量*单条数据大小)
- 数据任务配置并发数:数据校验任务 / 限制设置 模块配置的并发数量
- 2:两批次数据占用。获取第二批次数据时,第一批次数据引用的内存无法释放,所以需要同时占用两个批次数据的内存。
- 每批次获取数据量:不同数据节点每批次获取数据量不同,请见本文档中”DataPipeline每批次通过数据库获取的数据量”。
- 单条数据大小:平均每条数据的数据大小。
- 650M: connectdp 进程无任务运行时的内存占用量。 可以通过 jmap -heap PID 命令查看(PID 为connectdp 进程的进程号)。
配置校验任务
详见:配置校验任务
查看校验结果
详见:查看校验结果
通过项目管理校验任务
详见:通过项目管理校验任务
注意事项
警告
数据条数校验
- 当校验的表存在海量数据时,select count(*) 方式会给数据库带来较大的压力,并且由于查询时间过长可能导致查询超时,从而导致校验失败。
- 在处理海量数据时,建议配置适当的查询条件来限制查询的内容,以减轻数据库负担并确保校验的顺利进行。
数据内容校验
- 为了避免数据校验任务与数据同步任务运行在同一个资源组中发生资源争夺的情况,建议为数据校验任务单独配置独立的资源组。
- 当数据同步任务和校验任务使用相同的资源组时,为了避免资源争夺的情况,建议在不同时间段内运行数据同步任务和校验任务。