版本:v4.3
2.4 管理校验任务
什么是校验任务
数据校验是DataPipeline产品继数据融合之后,在数据质量管理领域的探索,帮助用户发现数据源与数据目的地数据不一致的问题,以数据源数据为基准,校验数据目的地数据。
V3.7版本支持全量数据校验,同时您可以通过配置校验条件实现增量数据的定时校验。从校验维度上,支持校验数据量及逐字段校验数据内容。
支持校验的数据节点类型:使用DataPipeline数据校验功能之前,您需确定当前版本支持的数据节点满足您的需求。
下表列出了DataPipeline数据校验功能支持的数据节点类型:
| 校验维度 | 支持节点 | 其他要求 |
|---|---|---|
| 数据量校验 | Oracle、MySQL、Postgresql、DB2、SQLServer、DM、Inceptor、OushuDB、Hive、Elasticsearch | 无 |
| 数据内容校验 | Oracle、Mysql、OushuDB、DB2、DM、SQLServer | 数据源表与数据目的地表都存在主键字段。 |
配置校验任务
详见:配置校验任务
查看校验结果
详见:查看校验结果
通过项目管理校验任务
详见:通过项目管理校验任务