版本:v5.5
配置校验任务
本文将为您介绍如何配置校验任务,以及在配置过程中的注意事项。
前提条件
- 已在DataPipeline系统中添加对应的数据同步任务。数据同步任务的任务状态与能够执行数据校验无关。
- 支持校验的数据节点
| 校验维度 | 支持节点 | 其他要求 |
|---|---|---|
| 数据量校验 | Oracle、MySQL、PostgreSQL、DB2、SQLServer、TiDB、DM、Inceptor、Hive、Elasticsearch,Oceanbase、ArgoDB、GaussDB、Gbase 8s、Kingbase V8、Kingbase V9、TDSQL for PG | 无 |
| 数据内容校验 | Oracle、MySQL、PostgreSQL、DB2、SQLServer、TiDB、DM、Oceanbase、ArgoDB、GaussDB、Gbase 8s、Kingbase V8、Kingbase V9、TDSQL for PG | 1. 数据内容校验要求数据源表与数据目的地表都存在主键或唯一索引,且主键字段或唯一索引该字段需要对应 2. 数据内容校验不支持包含联合主键或联合唯一索引的表。 |
操作步骤
- 点击「数据校验」进入数据校验的管理菜单,点击“创建校验任务”。
- 输入任务名称、任务描述,为任务选择分组。
- 校验数据配置:
- 选择校验维度。
| 校验维度 | 含义 | 校验方式 |
|---|---|---|
| 数据量校验 | 仅校验数据源与数据目的地的条数,当数据条数一致但数据内容存在差异时,无法通过数据量校验发现内容差异。 | 在数据源与数据目的地分别执行select count sql查询语句,再将源端查询结果与目的地查询结果相比较。 |
| 数据内容校验 | 逐字段校验数据源表与数据目的地表的数据内容。 | 将数据源表数据与数据目的地表数据在校验时刻记录快照,并对快照数据进行排序,将数据源与数据目的地排序后的数据按照主键进行匹配、校验。 |
2. 选择数据任务。选择将校验哪个同步任务的表。
3. 配置校验条件。当您需要限制校验范围时,请点击“校验条件”分别输入数据源表与数据目的地表的where条件,保存后将会按照该条件进行数据校验。
4. 配置校验字段。当校验维度为“数据内容”,默认校验主键字段。如果需要校验其他字段的数据,请点击“校验字段”按钮进行字段勾选。
4. 任务执行配置:任务执行配置包含三种执行配置,您可通过配置任务执行时间激活校验任务。 - 激活任务后立即执行:当您保存任务执行配置,开启任务执行开关,校验任务将立即运行。 - 激活任务后定时执行:您需要输入校验任务定时执行的时间,当您保存任务执行配置,开启任务执行开关,校验任务将在指定时间开始运行。 - 激活校验任务后在关联的数据任务全量同步完成后x时间开始执行校验任务:在关联数据任务全量同步完成的情况下,校验任务将在您指定的时间后开始运行。 5. 配置校验资源组 - 资源组配置是校验任务执行过程中对数据源读取和数据目的地数据读取、数据校验的资源管理功能。 - 您在部署DataPipeline时,可以通过修改配置文件,将数据同步任务/数据校验任务的服务器资源划分为多个资源组,实现同步与校验资源组解耦。 6. 配置读取限制 - 数据校验的读取并发限制作用于校验过程并发校验表的数量。当读取并发限制为”与映射数量相同“时,并发数量的最大值为校验映射的数量。 - 使用场景:通过配置读取并发数量,能够实现多张表同时校验,从而提升校验性能。 - 注:并行校验表的数量受限于系统资源组设置,系统资源组详情请参见《资源组设置》章节。 7. 预警配置:点击"策略配置",添加运行预警。预警规则如下:
| 预警指标 | 预警规则 | 含义 |
|---|---|---|
| 任务报错 | 表示在任务报错时触发预警 | |
| 状态变化 | 校验完成 | 校验完成时触发预警 |
| 差异数量 | 单表内容差异达到暂停校验阈值 | 单张表数据内容校验的数据差异条数达到「暂停校验策略」配置的阈值时触发预警 |
| 任意表数据量差异 | 设置数据差异预警的阈值,当差异数量大于等于设置的阈值时触发预警。 | |
| 任意表内容差异 | 设置数据差异预警的阈值,当差异数量大于等于设置的阈值时触发预警。 |
- 其他策略配置:
- 校验结果回收策略:配置校验结果在DataPipeline配置库的存储时间。
- 暂停校验策略:当某张表差异数据超过您设置的阈值时,DataPipeline 会暂停校验该表,继续校验下一张表。
场景说明
如何实现校验增量数据?
- 在当前实现中,校验增量数据需要依据时间字段来限定校验范围,再结合任务执行时间配置,实现定时校验部分时间段以前的数据。如配置每隔一小时校验一次前一小时的数据。
- 时间字段需要记录数据的修改时间。
注意事项
- 由于不同数据库对相同数据类型数据的存储方式不同,且不同数据库间的数据类型并不完全相同,所以当您校验异构数据库时,校验结果可能出现差异。该情况主要体现在时间类型数据、BFILE 类型数据。