跳到主要内容
版本:v4.12

V4.2 版本更新日志

2023-09​

功能列表​

  • 支持批量、实时读取Vastbase G100数据源
  • 支持JDBC读取ArgoDB数据源
  • TiDB 数据节点版本适配 5.x、6.x

新增功能​

新增功能:支持批量、实时读取Vastbase G100数据源​

功能背景

Vastbase G100数据库是海量数据基于开源openGauss内核开发的企业级关系型数据库。融合多年对各行业应用场景的深入理解,Vastbase除了具有openGauss极致的性能以外,还在原有功能基础上增加了大量Oracle和Mysql兼容特性。

使用场景

  1. Vastbase G100作为数据源的增量数据同步
  2. Vastbase G100作为数据源的全量数据同步
  3. Vastbase G100作为数据源的全量+增量数据同步

功能说明

  • 支持版本:Vastbase G100 V2.2.10
  • 支持节点认证方式:口令认证、SSL认证
  • 支持数据读取方式:逻辑复制、JDBC
  • 功能限制:「逻辑复制」读取方式仅支持解析字符集为utf-8的行存表,不支持解析列存表,不支持间隔分区表、全局临时表。

新增功能:支持JDBC读取ArgoDB数据源​

功能背景

ArgoDB 是星环自主研发的分布式分析型数据库,可以替代 Hadoop + MPP 的混合架构。我们使用标准的 SQL 语法支持用户业务的建设,并且能够给用户提供多模型数据分析、实时数据处理、存储与计算模块解耦、异构服务器混合部署等先进技术能力。用户可以通过一个 ArgoDB 数据库,实现其数据仓库业务、实时数据仓库业务、数据集市业务、OLAP 数据分析业务、事务型分析型业务混合负载业务、异构数据联邦分析计算业务等各种场景的建设需求。

DataPipeline在历史版本支持了通过文件写入方式向ArgoDB数据目的地写入数据,此次4.2版本支持ArgoDB数据库作为数据源,通过JDBC读取方式获取数据。

使用场景

  1. ArgoDB作为数据源的全量同步
  2. ArgoDB作为数据源 定时同步指定范围的数据

功能说明

  • 支持版本:ArgoDB 5.2
  • 支持JDBC读取方式。
  • 支持读取ArgoDB 5.2版本所有存储模式的表。

功能优化​

功能优化:节点版本适配 - TiDB 5.x、6.x​

在过去的版本中,DataPipeline 已支持 TiDB 2.x、3.x、4.x 版本,在新版本中,我们支持了 5.x、6.x 版本。

  • 支持数据源与目的地。

  • 支持实时数据获取、增量数据获取。