跳到主要内容
版本:v3.7

V3.5 新版本说明

正文​

晴日暖风生麦气,绿阴幽草胜花时。在这个热情的季节里,DataPipeline 在 2022 年 8 月迎来了 V3.5 版本更新。

版本目标 ​

  • 多元异构与国产信创支持
  • 登录安全性增强

在 3.5 版本中,我们围绕着多元异构与国产信创支持和登录安全增强的目标,新增支持了 ES 数据节点、OushuDB 数据节点、TDH Hyperbase 数据目的地,达梦支持 logmnr 读取、DB2 支持 JDBC 读取;根据业务需要,新增逻辑主键功能、优化项目分组权限与交互、新增了 DDL 预警、映射同步状态预警;同时,在安全性方面,增加了登录验证和超时退出功能。

新增功能​

支持 TDH Hyperbase 数据目的地 ​

功能背景​

Transwarp Hyperbase 是星环科技自主研发的实时 NoSQL 宽表数据库。Hyperbase 支持百万级高并发、毫秒级低延时业务需求,可以在普通廉价服务器集群上高效支持企业的高并发精确查询与范围查询、流处理应用、全文搜索以及高并发非结构化数据检索,同时支持以标准 SQL 为接口的高效数据访问,帮助用户快速开发历史数据查询、业务在线检索等应用。

功能说明​

DataPipeline 3.5 版本支持 TranSwarp 6.x.y 版本 Hyperbase,通过 JDBC 方式连接到 Inceptor Engine 对 Hyperbase 进行数据写入。支持 Hyperbase 内表以及 Hyperdrive 内表两种表类型。由于 Hyperbase 的 rowkey 直接决定了数据查询效率,所以 rowkey 的配置十分关键。在向 Hyperbase 写入数据前,您需要使用高级清洗指定 Hyperbase rowkey 的写入逻辑。

支持 Elasticsearch 数据源和数据目的地​

功能背景​

Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用 Elasticsearch 的水平伸缩性,能使数据在生产环境变得更有价值。

功能说明​

DataPipeline 3.5 版本支持 6.x、7.x 版本的 Elasticsearch 数据源以及数据目的地,以 Java REST Client 方式对 Elasticsearch 进行数据批量读取和写入。当 Elasticsearch 作为数据源时,DataPipeline 能够解析索引的嵌套结构,支持配置 query 参数作为数据同步条件;当 Elasticsearch 作为数据目的地时,DataPipeline 能够支持将数据写入索引已有的嵌套结构。

支持 OushuDB 数据源和目的地 ​

功能背景​

OushuDB 是由 Apache HAWQ 创始团队打造的新一代云原生数据仓库,是 Apache HAWQ 的企业增强版,该产品采用了存储与计算分离技术架构,具有 MPP 的所有优点,还具有弹性,支持混合工作负载和高扩展性等优点。 同时支持公有云与私有云。高可扩展,遵循 ANSI-SQL 标准,具有极速执行器,提供 PB 级数据交互式查询能力。并且提供对主要 BI 工具的描述性分析支持和高级机器学习功能。兼容 Oracle,GPDB 和 PostgreSQL,可以轻松取代传统数据仓库包括 Teradata,Oracle,DB2,Greenplum 和 SQL-on-Hadoop 引擎。并且原生支持 Kubernetes 容器平台,帮助企业无缝迁移到最新的云计算平台。OushuDB 已在金融、电信、制造、医疗和互联网等行业得到广泛的部署和应用。

功能说明​

DataPipeline 3.5 版本支持通过 JDBC 连接到 OushuDB 进行读写,同时支持通过 HDFS 协议写入到 OushuDB 的外部表。目的地支持新建 AO、ORC、PARQUET 格式的内表以及 TEXT、CSV、ORC 格式的外表。也支持在目的地手动指定逻辑主键

DDL 预警、映射同步状态预警 ​

功能背景​

DataPipeline 作为一款企业级数据融合产品,监控、预警功能将持续予以优化,以满足用户复杂业务场景下对数据、对系统的安全需求。

使用场景​

DataPipeline3.5 版本新支持了数据源 DDL 预警指标,以及同步状态预警指标。配置 DDL 预警指标后系统将自动识别数据源发生的结构变化,以及数据目的地将触发的操作,以消息的形式通过指定方式发送给用户,使用户能够及时了解上游的结构变化,对下游结构调整迅速做出决策。同步状态预警便于用户及时掌握当前的数据同步动态。

功能说明​

DataPipeline3.5 版本 DDL 预警支持用户配置预警方式、预警人、以及预警时间段,当数据源发生结构变化后,将以用户配置的预警方式推送预警消息。同步状态预警支持监控增量同步的数据连续性,支持监控全量同步无完成情况,以及批量同步的批次完成情况。

逻辑主键 ​

功能背景​

DataPipeline 作为一款企业级数据融合产品,面向客户众多,客户实际数据融合场景复杂,存在利用自定义业务主键同步数据的需求。基于 3.4 及以往版本只能使用主键,用户无法自定义业务主键的情况,3.5 支持为部分数据节点配置业务主键,用户可以使用业务主键进行同步,又不影响表的实际结构。

使用场景​

  1. 数据目的地存在主键,但实际同步场景希望使用自定义的业务主键进行增量数据同步。
  2. 数据目的地不存在主键,希望指定字段作为更新键进行数据增量同步。

功能说明​

  1. 3.5 版本支持为以下节点配置逻辑主键:Oracle、Mysql、DB2、Elasticsearch、Maxcompute、Inceptor、oushudb。
  2. 3.5 版本配置逻辑主键后,会自动使用逻辑主键作为更新键来同步增量数据。
  3. 逻辑主键支持为已有表及新建表指定。
  4. 逻辑主键支持指定非空字段。当非空字段作为更新键报错时,该条数据将进入错误队列。

超时无动作退出登录 ​

功能背景​

DataPipeline 作为一款面向企业的数据融合产品,尤其是在金融、保险等对数据安全要求高的业务中,安全性至关重要。为了增强系统安全,避免登录身份被冒用,我们提供了超时登录功能。

使用场景​

系统统管理员可以根据需要,设置无操作退出登录的超时时间。

功能说明​

系统提供超时无动作退出登录的功能,当页面无操作时长超过设置时间,系统会退出登录。

项目分组优化​

功能背景​

DataPipeline 作为企业级的数据融合平台产品,其可管理性尤为重要,为了满足企业级的可管理性的需求,在本版本中提供了对数据节点和数据链路内项目分组的功能。

使用场景​

创建节点,链路或任务时,可以直接选择项目分组。将对应的实体创建到指定分组中,满足企业级的管理要求。

功能说明​

项目组权限:项目组相较于 V3.4 版本及以前的功能,将取消权限。即项目组对所有的用户均有权限,用户只是对于项目组内具体的实体(节点,链路,任务)有对应权限(编辑/查看)。

项目组信息展示,在项目组上,将会增加项目组内实体数量的统计(K/L),其中 K 表示登录用户在该项目组中有权限的实体的数量,L 表示项目组内所有的实体的数量。

项目组的创建,编辑和删除:仅管理员拥有权限,可以创建,编辑,删除资源组。支持项目组设置为默认项目组,这样当在全部项目的功能模块下,创建实体的时候,会优先在默认项目组中创建。

实体的移动,支持对实体进行移动分组的操作,用户可以选定实体后,批量的移动到指定项目组里。

功能优化 ​

资源控制优化 ​

功能背景:​

任何成熟的集群系统,计算资源都是有限的。在 V3.4 版本之前,DP 的资源模型是在有限的资源下,无限制的提交任务,这必然会给用户带来极大的风险。因此在 V3.5 版本中,对于资源使用模型进行了第一阶段的优化。主要优化内容为,可以通过资源组设置线程使用上限,这样避免任务无限提交,导致同时处于工作状态的线程过多,而造成 gc,oom 等问题。

使用场景:​

在业务系统运行过程中,可以监测每个 worker 的线程使用情况,以及每个任务的线程使用情况。可以方便快速的获取到任务的状态,从而判断业务是否正常,系统是否健康,是否有风险。同时产品支持动态调整线程上限,用户可以根据业务的情况,动态调整定时和实时的资源使用情况,避免因为资源紧张导致某类任务起不来。或者可以提示,当前资源紧张,如果在启动任务,可能会给系统带来系统级的不稳定风险,建议用户关掉一些不重要的任务,或者选择扩容。

功能说明​

本功能将主要实现以下几点:

1 允许提交线程的动态调整。当发现实时或者定时的资源不足时,可以根据对 worker 节点的资源判断,动态调整资源分配。

2 当使用的线程已经达到允许线程的上限的 90%,则新发起的线程需求,将进入到争抢机制。会以一定的概率抢到资源,等待时间越久,抢到的概率会越高。目前提供的默认抢占概率为超过 20 分钟,线程可以被执行的概览为 50%,当等待时间超过 50min 时,概率为 90%。当然数值可以根据业务需求去设置和调整,同样为动态生效。

3 如果线程被全部占满,则在提交的线程会进入到等待队列中,当有资源释放的时候,会按照概率获取资源执行。

4 在任务列表和任务提交时,均提供线程的使用情况,方便用户判断系统的资源情况。

其他优化与问题修复​

  1. 适配了适配百度智能云 BMR Hive 3.1.0
  2. 支持达梦数据节点 logmnr 数据读取方式
  3. 添加登录验证码校验
  4. 完善高级清洗脚本库模版
  5. 支持 IBMDB2 节点作为数据源时 JDBC 读取方式