版本:v4.10
V4.7 版本更新日志
2024-04
功能列表
- 新增功能:
- 支持 Gbase 8a 做数据目的地
- 功能优化:
- OceanBase 采集代理支持接口查询状态、进度,支持自动重启
- SQL Server、GaussDB、PostgreSQL 目的地主键或逻辑主键值更新逻辑优化
- MYSQL 节点支持 SSL 认证
新增功能
新增功能:支持 Gbase 8a 做数据目的地
功能背景
Gbase 8a 是南大通用推出的分布式逻辑数据仓库,GBase 8a 分析型数据库的主要市场是商业分析和商业智能市场。产品自动提供粗粒度智能索引,高效过滤,膨胀小,免维护;集群支持100PB以上结构化裸数据单结点100TB裸数据;支持并行计算,充分利用现代的 SMP 多核 CPU 资源;集群加载速度大于30TB/小时。产品主要应用在政府、党委、安全敏感部门、国防、统计、审计、银监、证监等领域,以及电信、金融、电力等拥有海量业务数据的行业。
主要客户是河北银行和乌鲁木齐银行。
使用场景
- 4.7 版本新增支持 GBase 8a 9.5.x 版本作为数据目的地使用。
- 作为目的地支持通过 JDBC 和文件写入方式,将源端的增量和全量数据加载到 Gbase 8a 目的地。
功能说明
- DataPipeline支持 GBase 8a 9.5.x 作为数据目的地。
- GBase 8a 作为目的地节点时,对字段类型的支持情况如下:
| 字段类型 | 是否支持 | 备注 |
|---|---|---|
| TINYINT | 支持 | |
| SMALLINT | 支持 | |
| INT | 支持 | |
| BIGINT | 支持 | |
| FLOAT | 支持 | |
| DOUBLE | 支持 | |
| DECIMAL | 支持 | |
| NUMERIC | 支持 | |
| CHAR | 支持 | |
| VARCHAR | 支持 | |
| TEXT | 支持 | |
| BLOB | 支持 | 文件写入不支持 |
| BINARY | 支持 | 文件写入不支持 |
| VARBINARY | 支持 | 文件写入不支持 |
| LONGBLOB | 支持 | |
| DATE | 支持 | |
| DATETIME | 支持 | |
| TIME | 支持 | |
| TIMESTAMP | 支持 |
- Gbase 8a 节点支持 DataPipeline 数据目的地的所有通用功能。
功能优化
功能优化:OceanBase 采集代理支持接口查询状态、进度,支持自动重启
- 采集代理-manager 状态查询接口
- 采集代理-manager 运行时间接口
- 采集代理-节点日志解析进度接口
- 采集代理-详细状态接口
提供以上接口对接客户的监控、运维平台,以便第一时间感知采集代理状态,及时处理问题。
同时,提供了采集代理 Keep Alive 方案,当遇到问题时,采集代理可以自动重启,以当前进度继续采集数据。
功能优化:SQL Server、GaussDB、PostgreSQL 目的地主键或逻辑主键值更新逻辑优化
当数据源更新数据主键值时,在目的地更新数据不能使用更新后的主键值作为更新条件,更新数据;历史版本中,DataPipeline 对于部分节点的主键值更新处理逻辑不够完善,可能导致数据更新错误;
在 4.7 版本中,我们支持了以更新前(Update Before)的数据值作为更新条件更新数据,同时支持对 Update Before 的数据进行同样的高级清洗与表达式计算,以保证数据更新准确;