跳到主要内容
版本:v4.4

V3.6 新版本说明

正文​

金黄稻谷千层浪,累累瓜果十里香,在这个收获的季节,我们迎来了 DataPipeline 3.6 版本的发布。

版本目标​

  • 数据校验功能支持
  • 自研 CDC 产品能力增强
  • 故障治理体系建设

在 3.6 版本中,围绕版本目标,新增了数据校验功能,用户可以在 DataPipeline 数据融合产品内部对数据质量情况进行检查;Oracle Agent 支持了较低级别的日志补全进行数据同步的功能,一定程度上降低了对数据库的压力;整体上,我们统一了报错日志的格式,针对每个报错类型,提供故障处理指南,引导用户进行正确的操作,以便快速恢复任务运行。我们也做了一些其他优化,支持 JDBC 写入 Inceptor 的多种存储(ES/Hyperbase/Hive 存储)、丰富了任务级别的预警指标等。

新增功能​

新增功能:支持通过指定分片字段拆分 JDBC SQL 多并发读取的全量数据获取方式​

功能背景

在将业务系统数据同步至分析系统时,全量数据铺底往往是最先进行的必要步骤。在全量数据同步过程中,同步工具通常会向数据源提交一个快照请求,用于做增量数据与全量数据的衔接。

在数据库中,快照数据会占用表空间。当全量数据较大或可用表空间较小时,会给数据库带来较大压力,且可能会因为快照读取速率慢导致暂存时间过久超过数据库表空间允许的缓存时间,导致读取报错。

通过快速将全量数据读取出来,虽然短时间内会占用更多的数据库连接,增加部分查询引擎的压力,但综合来看,还是在数据同步场景中最有效的降低数据库压力的方式。

在 DataPipeline 产品中,通过指定分片字段,可以拆分多个读取 SQL,多并发的读取大表的全量数据,加速数据同步。

使用场景

同步场景:

  • 使用 JDBC 读取方式的全量数据获取
  • 增量数据获取的全量初始化阶段

对于数据表数据量较大、且数据表有分布较均匀的可用分区字段(如数字类型自增主键、字符类型订单编号等)

功能说明
image.pngimage.png

新增功能:支持错误队列规则配置与展示​

功能背景

在历史版本中,我们支持了错误队列暂停设置、激活设置、回收设置等配置选项,但没有具体的错误队列校验内容的设置。

在新版本中,我们添加了对每个字段进行的非空校验自定义设置,并将当前校验错误类型与字段的关系完整展现到页面中。

使用场景

场景 1:出现错误队列,无法判断错误队列产生原因,可以在页面中查找错误队列产生原因。

场景 2:向数据目的地业务逻辑上不能为空的字段写入空值数据,产生数据错误,可以对该字段类型配置非空错误校验条件。

功能说明

错误类型说明

错误类型说明
数据过长数据超过数据库支持的精度设置
非法数据格式向某字段写入非该字段类型的数据,且目的地无法兼容
数据越界数据精度标度越界
非空约束向非空约束字段写入空值
非法数据内容向字段写入不兼容的数据内容
高级清洗错误高级清洗脚本错误产生的错误数据
主键为空错误主键字段为空,无法写入
主键/唯一索引冲突错误写入数据时,发生主键/唯一索引冲突
未知错误未知错误数据类型
  • 错误队列策略会根据错误规则对数据进行校验,并对校验为错误数据的数据执行任务暂停策略和错误堆栈信息存储策略。
  • 您可以自定义错误规则并管理系统默认错误规则,也可以配置当检测到错误数据时任务的相关策略。\
    • 错误队列类型可分为预校验错误类型与后校验错误类型。
    • 预校验错误类型指系统在写入目的地之前执行数据检验,将无法写入的错误数据写入错误队列,包括数据过长错误、非法数据格式错误、数据越界错误、非空约束错误、非法数据内容错误。
    • 后校验错误类型指系统在尝试写入失败后无法处理的错误数据,这部分数据会被写入错误队列,包括高级清洗错误、主键为空错误、未知错误。

新增功能:支持错误日志编码,提供故障处理指南​

功能背景

在故障发生后,快速找到错误的原因,快速定位问题,指导上游系统做出正确的业务判断,尽快恢复业务,是减少客户损失的重要手段。

DataPipeline V3.6 统一了报错日志格式,针对每个报错类型,提供故障处理指南,引导用户进行正确的操作,以便快速恢复任务运行。

使用场景

当数据任务发生错误时,定位错误并恢复任务运行的过程。

功能说明

  • 在任务错误日志中可以找到对应的错误编码
  • 根据错误编码查找故障处理指南
  • 根据指南中的解决办法解决问题
  • 如遇未知错误类型,可以及时寻找 DataPipeline 技术专家协助解决问题,DataPipeline 产品团队与服务团队将会将处理过的未知错误类型与解决办法记录至故障处理指南中。

新增功能:支持数据条数校验(Oracle、Inceptor、ES、OushuDB、DB2、PG、DM 节点)​

功能背景

DataPipeline 作为企业级的数据融合平台产品,数据质量管理尤为重要。在用户使用 DataPipeline 过程中,有时会出现数据丢失情况。由于产品前期未提供同步数据质量管理功能,导致用户无法直接得知数据质量情况,丢失数据的信息往往是由下游数据使用方反馈,用户无法主动对数据质量情况进行把控,丢失数据处理也变得被动且滞后。

V3.6 版本基于数据任务提供数据条数校验功能,是 DataPipeline 产品继数据融合之后,在数据管理领域的持续探索。

使用场景

V3.6 版本支持全量数据校验,但无论数据任务执行方式是增量还是批量,数据源的数据往往是实时变化的,在这种情况下,直接校验全量数据得到的校验结果通常都存在差异(由于同步速率导致在同一时刻数据源与数据目的地数据不一致)。

所以,V3.6 版本数据校验适用于以下场景:

  • 数据源与数据目的地数据均无变动,这种场景下可以进行全量数据条数校验,且能够获得准确的校验结果。
  • 数据源与数据目的地均有校验条件限制字段,如数据写入时间字段。以时间为条件限制校验范围,如校验该时间五分钟前的数据。

功能说明

  • 目前仅支持基于数据任务来添加校验任务,即无法校验不是由 DataPipeline 同步的数据。
  • V3.6 版本支持数据量校验,即校验数据源与数据目的地的条数是否一致。
  • 支持校验的数据节点:Oracle,Inceptor,ES,OushuDB,DB2,Postgresql,DM、Mysql。
  • 支持用户输入校验条件(where 条件语句)来限定校验范围。
  • 支持配置预警策略,获取校验结果通知,以及校验异常通知。
  • 支持查看校验历史结果。

新增功能:支持 JDBC 写入 Inceptor 的多种存储(ES/Hyperbase/Hive 存储)​

功能背景

星环科技作为一家企业级大数据基础软件开发商,致力于围绕数据的集成、存储、治理、建模、分析、挖掘和流通等数据全生命周期提供基础软件与服务。TDH 作为星环的大数据基础平台,支持 9 种存储引擎,能够自动化应对不同部门的业务需求。

DataPipeline 在 3.6 版本,基于某证券客户业务需求,支持 TDH 新建表时选择 Hive、Hyperbase、Elasticsearch 三种不同存储引擎,在支持用户更多使用场景、推进国产化适配的进程上更进一步。

功能说明

当数据目的地为 Inceptor 时,DataPipelineV3.6 版本支持通过 JDBC 方式创建底层存储为 Hive、Hyperbase、Elasticsearch 类型的表。且在选择已有表时,支持通过 JDBC 方式写入类型存储为 Hive、Hyperbase、Elasticsearch 的表。

功能优化​

功能优化:增强 Oracle Agent 同步数据的能力:支持 Oracle 最小附加日志、主键补全、唯一键补全日志级别数据同步​

功能背景

Oracle 补全日志可以在数据库级别设置,也可以在表级别设置。在数据库级别中,补全日志按补全的信息量,对应几个级别:

(1)最小附加日志(Minimal supplemental logging):是开启 logmnr 的最低日志要求,提供了行链接(chained rows)和多种数据存储(比如聚簇表、索引组织表)的信息。在 Oracle 9.2 之后的版本中,默认都不开启。

(2)主键补全(Primary key supplemental logging):在日志中补全所有主键列。如果表中无主键,则补全一个非空唯一索引列;如果非空唯一索引键也没,那么会补全除了 LOB 和 LONG 类型字段以外的所有列,这时就和下面的所有补全一样了。

(3)唯一键补全(Unique key supplemental logging):当唯一键列或位图索引列被修改时,在日志中补全所有唯一键列或位图索引列。打开唯一键补全也会同时打开主键补全。注意这个级别是需要条件触发的。

(4)外键补全(Foreign Key supplemental logging):当外键列被修改时,将在日志中补全所有外键列。这个级别也是需要条件触发的。

(5)所有补全(All supplemental logging):在日志中补全所有字段(排除 LOB 和 LONG 类型)。

在历史版本中,DataPipeline 的采集代理读取方式与 LogMinner 读取方式仅支持所有补全(All supplemental logging),在数据源 Oracle 数据库本身的业务压力比较大时,开启 ALL 级别日志补全也会给数据库服务带来比较大的压力。

因此,我们在新版本中支持了较低级别的日志补全进行数据同步的功能

使用场景

当您使用 Oracle 数据源时,在数据库配置过程中需要开启日志补全功能,补全 redo log 日志文件;DataPipeline 通过解析日志文件获取增量数据,同步至下游。

如 Oracle 数据源业务压力较大,经您的数据库管理员(DBA)评估,无法开启 ALL 级别日志补全时,可以使用最小附加日志、主键补全、唯一键补全日志级别进行数据同步。

如 Oracle 数据库中有数据表 A,表结构如下

字段字段说明
idPK
customer_id业务主键
order_id唯一索引
order_type
price
order_ts业务主键

当上游发生业务变更,可以获取到的增量数据说明:

日志级别业务数据变更可获取的增量数据说明(不包含元数据信息)
Primary key supplemental loggingupdate A set price = 300 where id = 1222id = 1222,price = 300
Unique key supplemental loggingupdate A set price = 300 where order_id = 1222order_id = 1222,price = 300
Minimal supplemental loggingupdate A set price = 300 where id = 1222price = 300
All supplemental loggingupdate A set price = 300 where customer_id = 1222 and order_ts = 1667445833id = 1222,customer_id = 1222,order_id = 1222,order_type = 1,price = 300,order_ts = 1667445833

根据可获取的增量数据,数据目的地可以执行的更新操作的依赖条件取决于日志内容,存在部分使用限制。

功能说明

当数据源需要同步的数据表有主键、唯一索引时,开启对应级别的日志补全,支持更新/删除 DML 同步。

当数据源需要同步的数据表没有主键、唯一索引时,开启非所有补全的日志补全级别,仅支持数据插入 DML 同步。

当数据源需要同步的数据表没有主键、唯一索引时,推荐开启 ALL 级别日志补全,通过逻辑主键功能指定业务主键,支持更新/删除/插入 DML 同步。

对不同的日志补全级别,可能存在不同的使用限制,使用此功能之前,请阅读 Oracle 数据源通过非 ALL 级别日志补全进行增量数据同步功能的使用限制说明,并合理评估数据源业务压力,选择合适的数据补全级别,以满足业务要求。

丰富任务预警指标:实时流量和读取速率预警​

功能背景

DataPipeline 作为一款企业级数据融合产品,为了便于用户及时发现处理任务运行过程中出现的业务问题,我们会持续加强预警指标体系建设。DataPipeline 3.6 版本新支持了读取实时流量预警、读取速率预警的指标。

功能说明

读取实时流量预警对监控时间段内、指定表的读取数据量的变化进行监控。监控时间段内,当读取数据量的变化达到告警阈值时,发送告警。仅支持日志解析增量监听 / 增量定时读取、kafka 增量定时读取、MongoDB 增量监听读取支持配置此预警,其他情况配置此预警不生效。

读取速率预警对监控时间段内、指定表的读取速率进行监控。监控时间段内,当读取速率达到告警阈值时,发送告警。

Kafka 功能增强​

功能背景

在数据实时处理需求日益旺盛的情况下,Kafka 作为高吞吐量、低延迟,持久性好的消息中间件被广泛使用,在我们的客户群里中,有大量客户使用 DataPipeline 将 Kafka 节点作为数据源或作为数据目的地同步数据,所以 Kafka 数据同步的速率、时效性尤为重要。在往期版本中,DataPipeline 不支持配置 Kafka Consumer 参数以及 Producer 参数,导致当出现写入速率慢、连接超时等通过可以调整参数解决的问题时,无法通过配置解决,需要修改代码解决。

使用场景

在数据同步过程中,需要人为定义或调整 Kafka Consumer 参数或 Producer 参数,例如以下常见场景:

  • Kafka 节点连接超时
  • Kafka 目的地写入速率慢
  • 写入 Kafka 目的地时使用自定义的分区器
  • 指定写入 Kafka 目的地的消息压缩格式

功能说明

V3.6 版本支持在数据节点配置 Consumer 参数以及 Producer 参数,将分别在 Kafka 作为数据源以及 Kafka 作为数据目的地时生效。

同时当 Kafka 作为数据目的地,支持用户在每条数据映射配置 Consumer 参数。

其他优化与问题修复​

  • 支持配置日志级别
  • Kafka 节点支持配置连接参数
  • 创建目的地表时默认创建主键
  • 同一资源组不支持有多个 Kerberos 配置文件(kdc 不同)