跳到主要内容
版本:v4.7

V3.7 新版本说明

新年伊始,万象更新,在2023年开年之际,我们迎来了DataPipeline 3.7版本的发布。2023年3月,我们对3.7版本功能做了丰富和增强。

版本目标​

  • 支持产品备份和灾难恢复
  • 多源异构能力增强
  • 可观测性功能增强

稳定性建设是 DataPipeline 在产品迭代过程中不断打磨的重要方向,在3.7版本中,我们在产品层面提供了产品备份和灾难恢复方案,为系统稳定提供了强有力的保障。在可观测性上,我们丰富了监控维度和监控指标、数据校验中增加了内容校验功能、新增在产品页面查看组件日志的功能,产品的整体可观测性能力得到了稳步提升。同时,当前版本新增支持了ClickHouse数据节点、DataHub数据目的地、阿里云DRDS(PolarDB)数据源、GaussDB(OpenGauss内核)数据源。

新增功能​

新增功能:DataPipeline 产品备份及灾难恢复方案​

功能背景
核心数据对分析系统供数,交易数据支撑反洗钱、反欺诈场景都离不开实时数据。随着实时数据连续性要求越来越高,数据融合产品的多机房容灾能力也成为了保障业务连续的重要组成部分。DataPipeline 产品一直以来为客户提供分布式高可用保障,在此之上建立多地多机房数据融合灾备能力,可以保障在灾难场景下的实时数据不断。

使用场景
由于人为或自然原因,造成信息系统严重故障、瘫痪或其数据严重受损,使信息系统支持的业务功能停顿或服务水平达到不可接受的程度,并持续特性时间的突发事件发生时,为了规避灾难带来的损失和保证信息系统所支持的关键业务功能在灾难发生后能及时恢复和继续运作,可以使用DataPipeline 产品灾备方案恢复业务。

功能说明
DataPipeline 灾难恢复方案(以下简称灾备方案)满足一类系统的灾备需求等级,支持数据同步系统 RTO < 30分钟、RPO < 5分钟,支持同步的数据 RTO < 30 分钟、RPO = 0。

灾备方案可以分为以下几个大模块

  • 灾备环境搭建与配置:指根据灾备需求、网络与地理区域限制,制定灾备部署架构设计,并对灾备环境进行配置调整。
  • 数据备份:对数据同步进度、状态、配置、监控、错误队列数据进行备份。
  • 灾难恢复:指灾难恢复过程中的程序后台手动灾备切换方案、自动灾备切换方案、Web交互式灾备切换方案。
  • 灾后重建:指灾难恢复后灾备系统的重建工作,包括备份程序重建、备份数据恢复、手动业务切换流程。
  • 在灾难发生时,我们支持基于对主机群的状态检测或外部系统触发的自动灾备切换;同时也支持手动灾备切换的程序后台交互、Web页面交互。

新增功能:支持数据列表达式计算​

功能背景
不同数据源的建成部门、年代、技术栈、数据标准不同,其数据格式与数据内容都会存在一定差异。在数据应用过程中,需要统一的数据标准。因此数据同步过程中也需要对数据进行一定的加工处理。在之前的版本中,我们支持通过高级清洗脚本(Java code)对单条数据进行清洗转换;虽然代码的适应场景广泛,清洗逻辑定义开放程度高,但使用门槛较高,对于用户的编程能力有一定要求。在3.7版本中,我们支持了通过对数据列编辑表达式,转换数据值、添加元数据信息的功能,降低了数据处理过程中的使用难度;同时表达式编辑逻辑与SQL代码类似,也在数据处理过程中有一定灵活性。

使用场景
对单条数据的值处理、元数据信息补充等场景,包括但不限于:

  • 添加数据源数据表元数据信息
    • 数据源库、表、Schema、字段、字段类型等信息
  • 添加数据同步过程的处理元数据信息
    • 采集日志位点
    • 任务激活时间、名称等信息
    • DML标识
    • 写入时间标识
  • 对数据值进行逻辑转换
    • 加减乘除
    • 数值绝对值、进制、取整处理
    • 字段值筛选处理
    • 字符串处理
    • 时间类型处理
    • 空值处理
    • 根据条件取值(case when)
    • 取随机值
    • 正则匹配

功能说明
在数据映射-字段映射配置中,可以对目的地字段进行值转换配置。
image.png
在编辑表达式过程追踪,可以引用源表字段、采集元数据、DataPipeline 系统处理元数据,并通过操作符与功能函数对数据进行处理。
在完成表达式编辑后,系统会识别表达式中引用的数据信息,并在样例数据中展示;样例数据提供手动编辑样例数据与从数据源获取样例的功能。
试运行可以帮助我们调试表达式,运行结果与反馈将会呈现至页面中。
在表达式编辑过程中,可以参考文档说明,查看元数据信息含义、操作符与功能的具体效用。
在我们完成表达式编辑之后,开启表达式使用并保存配置即可使表达式生效,与此同时,我们可以保存常用表达式脚本进入脚本库,方便在不同场景进行复用。

新增功能:数据任务支持分映射设置同步进度​

功能背景
在数据任务执行配置上,我们支持了针对全量同步、日志监听模式增量同步、增量识别字段模式增量同步、全量增量衔接等场景的同步方式配置。为了使任务选择映射的方式不受同步方式影响,在新版本中我们推出了映射设置同步起点的功能。

使用场景
在任务中已有多张数据表在进行增量同步,其中有一张表需要重新拉历史数据。
在任务中已有多张数据表在进行增量同步,现在上游新增了一张表,需要全量铺底后增量同步,这些数据表因业务要求需要组织在一个任务里。
在任务中已有多张数据表在进行增量同步,其中一张表需要忽略一段时间的增量数据,以当前时间点为起点同步数据。

功能说明
我们可以在数据任务-执行配置中选择分映射指定同步起点,在映射配置中,给每条映射分别设置同步起点或批量指定起点。根据数据源与目的地的特性不同,支持的同步起点设置不同,包括:全量初始化、使用暂停时进度(任务暂停时出现)、激活任务时间为起点。

新增功能:支持调整系统默认设置​

功能背景
在实际数据同步场景中,我们可能需要对接数十个数据源,每个数据源数百数千张数据表,映射量级10w+,任务量级1000+。面对如此规模的配置操作,DataPipeline 秉持用户至上的设计理念,想法设法的帮助用户简化操作流程,减少重复操作步骤。
在之前的版本中,我们针对数据映射配置场景、节点链路任务管理场景提供了批量操作、配置默认值设置、智能映射匹配设置等多种广受一线用户好评的功能。现在DataPipeline 将枪口对准了配置繁复的另一大阻碍:各项配置默认值。

使用场景
在拥有全局统一的数据标准、数据同步任务资源占用标准的前提下,对数据任务并发占用、语义映射转换逻辑进行全局规则配置。

功能说明
通过对语义映射转换逻辑的全局规则配置,可以调整系统默认语义映射规则,应用至不同节点类型,如不针对特定数据节点、链路做语义映射策略调整,语义转换将会按照系统语义映射规则执行。
在配置数据映射过程中,语义转换将会依照链路层语义映射策略>节点层语义映射策略>系统默认语义映射的规则完成数据语义转换。
通过对数据任务限制配置默认值调整,可以限制数据任务并发数量与任务选择映射数量相同,或为固定值。并对所有数据任务添加统一的限制配置默认值,方便应用。

新增功能:Oracle 采集代理图形化监控​

功能背景
在之前的版本中,DataPipeline 提供了对 Oracle 采集代理日志、预警的统一配置与查看。
在3.7版本中,Oracle 采集代理的状态、速率、延迟等监控信息被统一整合到了数据节点采集代理监控页面,为Oracle 采集代理的运维管理提供便利。

功能说明
监控指标列表

指标指标说明
已解析日志量累计值,指采集代理自上次启动以来解析的日志量,单位kb
日志解析速率速率值,指随时间变化的采集代理解析日志的速率,单位kb/s
因日志中不是所有数据都会同步,不代表同步速率/传输速率
解析进程积压时间时间值,指采集代理当前处理到的日志时点与最新日志时间的时间差值,单位ms
采集代理重启状态值,指采集代理自动重启事件在时间轴上的呈现,不会统计手动重启
系统处理延时-P95时间值,指采集代理自身的处理延迟,在采样时间段内P95置信区间内的延时表现,可以理解为统计意义平均值,单位ms
系统处理延时-MAX时间值,指采集代理自身的处理延迟,在采样时间段内的最大值,单位ms
系统处理延时-MIN时间值,指采集代理自身的处理延迟,在采样时间段内的最小值,单位ms
采集代理延迟(数据库事务提交时间-数据写入缓存时间)时间值,指采集代理数据处理的整体延迟,计算方式为数据库事务提交时间-数据写入缓存时间的差值,单位ms
缓存写入速率速率值,指采集代理写入缓存的写入速率,单位kb/s
采集代理事务处理数量累计值,指采集代理自上次启动以来处理的事务数量,单位个

新增功能:支持数据内容一致性校验​

功能背景
DataPipeline作为企业级的数据融合平台产品,数据质量管理尤为重要。在用户使用DataPipeline过程中,有时会出现数据丢失情况。由于产品前期未提供同步数据质量管理功能,导致用户无法直接得知数据同步情况,丢失数据往往是由下游数据使用方反馈,用户无法主动对数据质量情况进行把控,丢失数据处理也变得被动且滞后。
V3.7版本基于数据任务提供数据内容校验功能,帮助用户及时发现差异数据,针对差异数据进行处理。

使用场景
在对数据一致性高要求的场景下,您可以为对应的数据任务配置数据内容校验,验证数据任务同步的可靠性。
V3.7版本支持全量数据校验,在数据源持续有增量数据写入的情况下,直接校验全量数据得到的校验结果通常都存在差异(由于同步速率导致在同一时刻数据源与数据目的地数据不一致)。
所以,当前版本数据校验适用于以下场景:

  • 数据源与数据目的地数据均无变动,这种场景下可以进行全量数据内容校验,且能够获得准确的校验结果。
  • 数据源与数据目的地均有校验条件限制字段,如数据变更时间字段。以时间为条件限制校验范围,如校验五分钟前的数据。

功能说明

  • 支持的数据节点
支持数据量校验的节点类型支持数据内容校验的节点类型其他要求
Oracle、MySQL、Postgresql、DB2、SQLServer、DM、Inceptor、OushuDB、Hive、ElasticsearchOracle、Mysql、OushuDB、DB2、DM、SQLServer
1. 数据内容校验要求数据源表与数据目的地表都存在主键,且主键字段需要对应
2. 数据内容校验不支持含有联合主键或联合唯一索引的表。
  • 支持用户输入校验条件(where条件语句)来限定校验范围。
  • 支持用户指定校验字段,如仅校验主键字段数据。
  • 支持配置预警策略,获取校验结果通知,以及校验异常通知。
  • 支持查看校验历史结果。

新增功能:支持ClickHouse数据目的地节点​

功能背景
ClickHouse 是 Yandex(俄罗斯最大的搜索引擎)开源的一个用于实时数据分析的基于列存储的数据库,其处理数据的速度比传统方法快 100-1000 倍。ClickHouse 节点适配是DataPipeline多源异构能力增强的重要组成部分。

使用场景

  • ClickHouse 目前支持20.x与22.x版本,在DataPipeline 3.7版本中可作为数据目的地使用。
  • 作为目的地使用,可以使用JDBC写入方式,将源端的增量和全量数据写入到 ClickHouse 目的地。

功能说明

  • 支持通过JDBC连接到 ClickHouse 节点进行数据的写入
  • 支持 ClickHouse 节点相关语义映射、结构变化策略、数据加载策略
  • 支持数据写入 ClickHouse 目的地时清空目的地
  • 支持 ClickHouse的多种表引擎
  • DataPipeline单机部署(8核32G),写入ClickHouse的写入性能可达11.52M/s

新增功能:支持Datahub做目的地​

功能背景
阿里云流式数据服务DataHub是流式数据(Streaming Data)的处理平台,提供对流式数据的发布 (Publish),订阅 (Subscribe)和分发功能,让您可以轻松构建基于流式数据的分析和应用。

使用场景

  • DataPipeline 3.7版本支持阿里云 Datahub 最新版本,可作为数据目的地使用。

功能说明

  • 支持向Tuple类型、BLOB类型Topic写入数据。
  • 支持创建新Topic、选择已有Topic。
  • 支持向BLOB类型Topic写入JSON格式数据,支持定义数据结构。

新增功能:支持阿里云DRDS(PolarDB)做数据源​

功能背景
PolarDB-X 是阿里巴巴自主设计研发的高性能云原生分布式数据库产品,为用户提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。
PolarDB-X 节点适配是DataPipeline多源异构能力增强的重要组成部分。

使用场景

  • DataPipeline 3.7版本支持 PolarDB-X 1.0,可作为数据源使用。
  • BINLOG读取方式支持读取实时增量数据,JDBC读取方式支持定时读取存量数据。

功能说明

  • 支持通过BINLOG读取方式读取 PolarDB-X 增量数据。
  • 支持 PolarDB-X 节点相关语义映射、结构变化策略、数据加载策略。
  • DataPipeline单机部署(8核32G),读取PolarDB-X的速率为 3.8 M/s

新增功能:支持GaussDB(OpenGauss内核) 数据源的实时采集​

功能背景
GaussDB(for openGauss)是华为公司倾力打造的自研企业级分布式关系型数据库,具备PB级数据负载能力,同时支持优异的分布式事务,通过内存分析技术满足海量数据边入库边查询要求,适用于安全、电信、金融、物联网等行业的详单查询业务。
GaussDB(for openGauss) 节点适配是DataPipeline多源异构能力增强的重要组成部分。

使用场景

  • GaussDB(for openGauss) 目前支持1.4、2.0、2.3版本,在DataPipeline 3.7版本中可作为数据源使用。
  • 逻辑复制读取方式支持读取实时增量数据,JDBC读取方式支持定时读取存量数据。

功能说明

  • 支持 GaussDB(for openGauss) 集中部署模式,分布式部署模式。
  • 支持通过逻辑复制方式读取 GaussDB(for openGauss) 增量数据。
  • 支持 GaussDB(for openGauss) 节点相关语义映射、结构变化策略、数据加载策略。
  • DataPipeline单机部署(8核32G),读取GaussDB(for openGauss)的速率可达18.52M/s

新增功能:产品首页-任务概览监控信息优化​

功能背景
为了方便用户观察 DataPipeline 产品中任务的整体运行情况,让管理人员实时了解到现有业务的发展情况和异常问题,缩短发现特征信息的时间,DataPipeline 3.7版本提供了任务状态、实时任务延时情况、同步数据处理情况的集中展示功能。

使用场景
业务方需要了解 DataPipeline 同步任务的任务状态、实时任务延时情况、同步数据处理情况。

功能说明
image.png
任务状态:支持查看系统内所有任务的运行状态,并跳转至任务列表页,分类查看任务列表
实时任务延时情况:支持查看系统内所有实时任务的延时情况,并分类查看任务列表
同步数据处理情况:支持查看系统内所有任务的同步数据量之和,支持查看的质保是累计数据量和流量。

新增功能:数据任务监控图表优化-DML数量、DDL数量及趋势展示​

功能背景
在以往的版本中,DataPipeline提供了任务维度的累计数据量、同步速率、批次数据量的监控与图标展示。客户的实际使用场景中,每个任务会配置成百上千条映射,每天会同步千万级的数据。
为了在庞大的数据中,更快速直观的获取到客户关心的特征信息,DataPipeline 3.7版本中,我们提供了任务维度和映射维度的流量统计、DML事件统计等与业务紧密相关的统计指标。

使用场景

  • 业务上需要获取不通过维度、不同粒度、不同时间段内的流量、DML事件、DDL事件及变化趋势信息
维度指标指标释义
任务累计数据量累计数据量指截至到某个时间点,当前任务的同步数据的总和。
流量统计流量统计指在一定的统计粒度下,当前任务同步的数据量。
计算方法:结束时间的累计数据量与开始时间的累计数据量的差值。
同步速率同步速率指单位时间内当前任务同步的数据量。
批次处理批次数据量监控了一个批次同步的数据量。
结构变化数据用于监控在任务同步过程中处理的结构变化数量。
事务数据事务处理监控主要对当前任务同步的事务数量的统计。
运行状态任务监控中的任务运行状态体现任务运行过程中的真实状态,其中,暂停中、激活中等中间状态会被抽象为等待中状态。

| 映射

| 累计数据量 | 累计数据量指截至到某个时间点,当前映射的同步数据的总和。 | | | 流量统计 | 流量统计指在一定的统计粒度下,当前映射同步的数据量。
计算方法:结束时间的累计数据量与开始时间的累计数据量的差值。 | | | 同步速率 | 同步速率指单位时间内当前映射同步的数据量。 | | | 事务数据 | 事务处理监控主要对当前任务同步的事务数量的统计。 | | | 增量延时统计 | 增量延时统计指当前映射数据目的地写入增量数据的延迟统计,将以图表形式展示单位时间内的延迟情况。 | | 源表

| 单条数据预估大小 | 单条数据预估大小指获取系统表中获取单条数据的平均大小。 | | | 单条数据平均大小 | 单条数据平均大小指已读取数据的平均大小。 | | | 最新数据产生时间 | 最新数据产生时间指最后一条写入目的地的数据,在源表中的产生时间或数据采集时间。
- 日志解析模式:取数据产生时间的最大值
- 文件系统:取文件更新时间
- 其他:取数据采集时间的最大值
|

功能说明
image.png
您可以切换颗粒度和时间范围,查看不同数据汇总粒度和时间范围内的图像和指标变化趋势
您也可以通过开关图例来查看指定指标对应的图像数据及变化趋势。

新增功能:支持差异数据查询​

功能背景
当前客户的数据应用体系日益完善,DataPipeline作为数据融合系统参与到客户的整个数据处理链条中。在不同数据处理系统分工协作的场景下,当数据使用方发现数据异常时,用户想要在多个系统间迅速定位问题出现环节往往需要付出很多时间成本。

使用场景

  • 数据下游反馈数据丢失或错误情况后,通过差异数据查询功能,验证数据在DataPipeline每一环节处理情况。

功能说明

  • 错误数据查询功能支持用户指定数据查询条件,反映数据在DataPipeline内部处理情况,从而便于定位错误数据产生环节,针对性的对问题进行处理。
  • 当前支持数据源为Oracle、Mysql、DB2,数据目的地为Kafka 时进行数据查询。

功能优化​

功能优化:Kafka功能增强:支持创建Topic、优化写入设置、支持删除重建/清空Topic​

功能背景
在数据实时处理需求日益旺盛的情况下,Kafka作为高吞吐量、低延迟,持久性好的消息中间件被广泛使用,在我们的客户群里中,有大量客户使用DataPipeline将Kafka节点作为数据目的地同步数据,所以Kafka目的地数据写入的灵活性配置尤为重要。在往期版本中,DataPipeline不支持新建Kafka Topic ,不支持将数据写入指定分区,导致此类问题需要手动解决或者修改代码解决。

功能说明

  • 支持在数据链路配置新增Topic
  • 支持数据写入指定分区
  • 支持配置数据写入Kafka时转换大小写
  • 支持启动数据任务时清空Topic数据或删除重建Topic。

功能优化:支持全局配置kafka目的地节点数据映射参数​

功能背景
在实际数据同步场景中,我们可能需要对接数十个数据目的地,每个数据目的地成百上千张数据表,映射量级10w+,任务量级1000+。面对如此规模的配置操作,DataPipeline 秉持用户至上的设计理念,想法设法的帮助用户简化操作流程,减少重复操作步骤。
而在数据实时处理需求日益旺盛的情况下,Kafka作为高吞吐量、低延迟,持久性好的消息中间件被广泛使用,在我们的客户群里中,有大量客户使用DataPipeline将Kafka节点作为数据目的地同步数据,所以Kafka目的地数据映射参数的灵活性配置尤为重要,DataPipeline 3.7版本中,我们优先针对Kafka目的地提供了数据映射参数默认值的配置。

使用场景
在拥有全局统一的数据标准前提下,对Kafka目的地数据映射各项参数进行全局默认值配置。

功能说明
为方便用户灵活配置,DataPipeline数据目的地数据映射的参数有两套生成规则。通过”映射设置“规则生成的数据映射,其参数将自动应用”映射设置“的参数。通过手动点击”创建新表“、”匹配已有表“生成的数据映射,其参数为系统提供的默认参数。
当前提供全局配置kafka目的地节点数据映射参数后:

  • 新建kafka目的地数据链路,”映射设置“参数会应用系统配置默认值。
  • 在数据链路手动点击”创建新Topic”、“选择已有Topic”生成的映射,“写入设置”的参数以及新建Topic的参数会应用系统配置默认值。

功能优化:日志优化-展示与排查任务报错相关的所有日志​

功能背景
数据同步任务在运行过程中发生异常时,需要去查看与任务相关的程序运行日志,在以往版本中,只能去服务器查看,对用户来讲并不友好。为了缩短用户排查问题的操作路径,DataPipeline在3.7版本中提供了核心组件运行日志查询功能。

使用场景
任务运行过程中发生异常,需要查看connector和manager的运行日志排查问题。

功能说明
image.png
您可以通过调整时间范围、输入关键字查询特定日志。

功能优化:数据一致性校验-并发与资源组设计​

功能背景
当用户使用DataPipeline校验成百数千张数据量超大的表时,如何才能提高校验的速度,使用户更快得知校验结论。而当提升校验性能的同时,如何避免数据校验任务占用过多DataPipeline内部资源,从而影响数据同步任务的稳定性。这是当前版本解决的问题。

使用场景
当频繁进行大数据量表的数据内容校验时,可以通过添加校验专用资源组来避免校验任务影响同步任务运行的情况。

功能说明

  • 数据校验的读取并发限制作用于校验过程并发校验表的数量。当读取并发限制为”与映射数量相同“时,并发数量的最大值为校验映射的数量。
  • 并行校验表的数量受限于系统资源组设置。
  • 当前版本对资源组类型进行了划分:
    • 源端资源:仅支持数据任务读取数据源数据时使用。
    • 目的地资源:仅支持数据任务向目的地写入/处理数据时使用。
    • 通用资源:同时支持数据同步任务读取与写入数据、数据校验任务读取与校验数据使用。DataPipeline V3.5及V3.5前期的版本区分”源端资源“、”目的地资源“,DataPipeline V3.6及V3.6后期版本在读取数据及写入数据时将统一使用”通用资源“。
    • 校验资源:仅支持数据校验任务读取与校验数据使用。

其他功能优化:​

  • 优化数据任务选择映射交互
  • 优化预警webhook内容
  • 支持通过数据表名搜索链路、任务
  • 支持修改/删除用户,并记录审计日志
  • 适配Hive 1.1.0+cdh5.12.2+1218
  • 适配华为HDFS
  • 优化采集代理预警逻辑,添加状态变化预警指标、日志补全检查预警指标