版本:v4.12
V4.2 版本更新日志
2023-09
功能列表
- 支持批量、实时读取Vastbase G100数据源
- 支持JDBC读取ArgoDB数据源
- TiDB 数据节点版本适配 5.x、6.x
新增功能
新增功能:支持批量、实时读取Vastbase G100数据源
功能背景
Vastbase G100数据库是海量数据基于开源openGauss内核开发的企业级关系型数据库。融合多年对各行业应用场景的深入理解,Vastbase除了具有openGauss极致的性能以外,还在原有功能基础上增加了大量Oracle和Mysql兼容特性。
使用场景
- Vastbase G100作为数据源的增量数据同步
- Vastbase G100作为数据源的全量数据同步
- Vastbase G100作为数据源的全量+增量数据同步
功能说明
- 支持版本:Vastbase G100 V2.2.10
- 支持节点认证方式:口令认证、SSL认证
- 支持数据读取方式:逻辑复制、JDBC
- 功能限制:「逻辑复制」读取方式仅支持解析字符集为utf-8的行存表,不支持解析列存表,不支持间隔分区表、全局临时表。
新增功能:支持JDBC读取ArgoDB数据源
功能背景
ArgoDB 是星环自主研发的分布式分析型数据库,可以替代 Hadoop + MPP 的混合架构。我们使用标准的 SQL 语法支持用户业务的建设,并且能够给用户提供多模型数据分析、实时数据处理、存储与计算模块解耦、异构服务器混合部署等先进技术能力。用户可以通过一个 ArgoDB 数据库,实现其数据仓库业务、实时数据仓库业务、数据集市业务、OLAP 数据分析业务、事务型分析型业务混合负载业务、异构数据联邦分析计算业务等各种场景的建设需求。
DataPipeline在历史版本支持了通过文件写入方式向ArgoDB数据目的地写入数据,此次4.2版本支持ArgoDB数据库作为数据源,通过JDBC读取方式获取数据。
使用场景
- ArgoDB作为数据源的全量同步
- ArgoDB作为数据源 定时同步指定范围的数据
功能说明
- 支持版本:ArgoDB 5.2
- 支持JDBC读取方式。
- 支持读取ArgoDB 5.2版本所有存储模式的表。
功能优化
功能优化:节点版本适配 - TiDB 5.x、6.x
在过去的版本中,DataPipeline 已支持 TiDB 2.x、3.x、4.x 版本,在新版本中,我们支持了 5.x、6.x 版本。
支持数据源与目的地。
支持实时数据获取、增量数据获取。