跳到主要内容
版本:v4.12

V3.2 新版本说明

雨水夹明镜,双桥落彩虹。DataPipeline 在 10 月迎来了 3.2 版本更新。

在 3.2 版本中,我们针对结构变化策略进行了功能增强,新增支持了 MS SQL Server 的 Change Data Capture 的数据读取模式、Gauss200 数据目的地、自定义数据节点、TelePG 数据节点,并适配支持 Hive、PostgreSQL、SequoiaDB 的多个版本。

功能更新:​

结构变化策略新增更多的策略支持​

当前 DataPipeline 已经支持的结构变化包含了源端删除表,源端加列,源端删列以及源端的字段变化(类型,精度,标度)。我们发现上游还会有一些常见的 DDL 操作,于是我们在 3.2 新增了更多的 DDL 处理策略。本版本在原有基础上又新增了源端清空表的策略,源端新建表的策略, 源端重命名字段的策略。以上三种源端的 DDL 语句,均需要解析日志才可以获取,因此仅有部分数据源才能获取到该 DDL 的变化。并且对应到不同的目的地,会有相应的执行策略。同时当新增列时,增加可以控制上游的默认值是否同步的选项。

新增升级功能​

不能升级的软件是没有生命力的, 由于产品在 2.7 到 3.2 的产品演进中,从业务场景,企业数据实时化,数据规模发展等角度出发,配合企业数据部门发展以及协同的需求,演进出一套新的逻辑概念。因此在 2.8 的初期版本,一直在努力地打造功能。终于在本版本,功能搭建基本完成的情况下, 启动 2.7 升级的功能。本版本将从安全性,便捷性等角度出发, 为客户提供较为方便的升级方案,帮助客户从 2.7 的系统升级到当前最新的版本,助力客户实现数据任务的平稳迁移。

新增 MS SQL Server Change Data Capture 数据读取模式​

在之前的版本中,对于 MS SQL Server 数据节点的增量数据获取,DataPipeline 支持了 Change Tracking 模式;基于 Change Tracking 技术,获取增量数据在数据源将产生部分物化视图,占用部分数据源的 SQL 引擎资源。且 Change Tracking 不支持在 Always On 的备库中开启,在部分生产环境中,Change Tracking 的开启确实对部分 DBA 同学造成了一定困扰。

在 3.2 版本中,DataPipeline 支持了通过 Change Data Capture 模式(以下简称 CDC)获取 MS SQL Server 的增量数据;CDC 模式通过解析数据库日志,将增量数据写入到数据库临时表中,减少了因产生物化视图而带来的额外数据源 SQL 引擎压力,且支持 Always On 备库,丰富了数据采集的场景。

新增 GaussDB 200 数据目的地​

GaussDB 200 是企业级的大规模并行处理关系型数据,采用 MPP(Massively Parallel Processing)架构,支持行存储与列存储,提供 PB 级别数据量的处理能力。GaussDB 200 在核心技术上跟传统数据库相比有巨大优势,可以解决很多行业用户的数据处理性能问题,可以为超大规模数据管理提供高性价比的通用计算平台,并可用于支撑各类数据仓库系统、BI(Business Intelligence)系统和决策支持系统,统一为上层应用的决策分析等提供服务,所以在近几年里得到了市场的广泛认可。 ‌

在 3.2 版本中,DataPipeline 支持通过 JDBC 的方式向 GaussDB 200 写入数据。同时,DataPipeline 也与华为进行了鲲鹏服务器兼容性测试,支持将 DataPipeline 部署至鲲鹏架构服务器,并连接基于鲲鹏架构的 GaussDB 来采集数据。

新增自定义数据节点​

在以往的客户服务过程中,DataPipeline 发现很多用户有一些特殊节点以及复杂的连接逻辑的需求,无法通过现有的通用节点连接来实现。

为了解决这个问题,在 3.2 版本中,DataPipeline 新增了自定义数据节点,以适应更灵活的数据同步场景。自定义节点中允许用户自定义实体,实体是任意的,可以是关系型数据库、数据仓库、API 或者应用等,您可以根据自己的需求去定义其读取及写入逻辑以及对系统提供的同步策略的适配。

TelePG 目的地,TeleDB 数据源的适配​

TelePG 和 TeleDB 为天翼云提供基于云计算平台上的在线关系型数据库服务,其中 TeldDB 主要通过天翼云的 RDS 实例,在互联网网站、物联网、企业办公和移动客户端提供应用。完全兼容 MySQL5.6,5.7,8.0,提供备份,恢复,扩容,监控等数据库服务。而 TelePG 则可以提供在线的高可用,面向负责 SQL 处理的 OLTP 在线失误处理场景,支持 NoSQL 数据类型,支持 GIS 地理信息处理,提供 PostgreSQL 版本为 9.5,9.6,10,11 这可以更好的适应和满足电信的应用场景。

在 3.2 版本中,TeleDB 作为数据源,可以提供 binlog 和 JDBC 两种读取方式,TelePG 作为目的地,提供 JDBC 的写入方式,同时支持丰富的数据类型。

功能优化:​

Hive/Inceptor 与文件系统节点任务执行配置优化​

在任务暂停后,Hive/Inceptor 节点以及文件系统节点作为源的映射支持重新设置同步起点,Hive/Inceptor 节点以及文件系统节点作为目的地的映射支持清空目的地。并且支持 Hive/Inceptor 节点以及文件系统节点作为目的地的任务在同步前清空目的地。

时间类型字段映射规则优化​

SQL 类型的数据库通常有三种时间类型

  • 普通时间类型:写入的是什么值,读出来的就是什么值。无论数据库的时区和 Client 的时区如何,结果都是一样的;
  • 带本地时区的时间类型:数据库存储的时间以数据库的时区设置为准。当 Client 访问数据库时,获取的值会自动按照 Client 的时区进行转换;
  • 带时区的时间类型:数据库分别存储时间和时区。当 Client 访问数据库时,获取的时间对象也包括这两部分信息。

当程序运行一个数据同步任务时,我们的 Source 和 Sink Task 分别承担读取 Client 和写入 Client 的角色,其 JVM 的时区均为 UTC 时区,各个 JDBC 类型的 Source 和 Sink 会话时区默认也是 UTC 时区。普通时间和时区时间都不会受到 Client 的会话时区的影响,而本地时区会受影响。尤其是当下游的字段成为文本类型时(例如 kafka),从源端读出来的时间应该按照哪个时区显示就成为一个问题。在之前版本的产品中,会话时区均为 UTC,因此读出来的值也是 UTC 时区的值,在一些情况下就不符合用户要求了。例如,城商行的客户希望 Kafka Sink 中 oracle timestampltz 类型对应的值为+08:00 时区的值,而不是 UTC 时区的。如果无法指定参数,用户就需要自己写高级清洗来进行转换,体验非常不好。

在 3.2 版本的产品中,我们支持在数据节点配置时区参数,通过指定数据节点时区,在读取数据时可以获得基于该失去准确转换的时间值,在写入数据时可以按照指定时区进行准确时间转换。

其他优化​

  1. 消息队列缓存多集群部署优化
  2. Hive 适配 1.x 版本
  3. PostgreSQL 12.x、13.x 版本适配
  4. 巨杉数据库 2.x、3.x、5.x 版本适配
  5. 修复部分系统问题
  6. MySQL 目的地语义映射特性映射自动添加全部小写
  7. 数据加载策略对于无主键表配置优化

​