跳到主要内容
版本:v4.7

V4.7 版本更新日志

2024-04​

功能列表​

  • 新增功能:
    • 支持 Gbase 8a 做数据目的地
  • 功能优化:
    • OceanBase 采集代理支持接口查询状态、进度,支持自动重启
    • SQL Server、GaussDB、PostgreSQL 目的地主键或逻辑主键值更新逻辑优化
    • MYSQL 节点支持 SSL 认证

新增功能​

新增功能:支持 Gbase 8a 做数据目的地​

功能背景
Gbase 8a 是南大通用推出的分布式逻辑数据仓库,GBase 8a 分析型数据库的主要市场是商业分析和商业智能市场。产品自动提供粗粒度智能索引,高效过滤,膨胀小,免维护;集群支持100PB以上结构化裸数据单结点100TB裸数据;支持并行计算,充分利用现代的 SMP 多核 CPU 资源;集群加载速度大于30TB/小时。产品主要应用在政府、党委、安全敏感部门、国防、统计、审计、银监、证监等领域,以及电信、金融、电力等拥有海量业务数据的行业。
主要客户是河北银行和乌鲁木齐银行。
使用场景

  • 4.7 版本新增支持 GBase 8a 9.5.x 版本作为数据目的地使用。
  • 作为目的地支持通过 JDBC 和文件写入方式,将源端的增量和全量数据加载到 Gbase 8a 目的地。

功能说明

  • DataPipeline支持 GBase 8a 9.5.x 作为数据目的地。
  • GBase 8a 作为目的地节点时,对字段类型的支持情况如下:
字段类型是否支持备注
TINYINT支持
SMALLINT支持
INT支持
BIGINT支持
FLOAT支持
DOUBLE支持
DECIMAL支持
NUMERIC支持
CHAR支持
VARCHAR支持
TEXT支持
BLOB支持文件写入不支持
BINARY支持文件写入不支持
VARBINARY支持文件写入不支持
LONGBLOB支持
DATE支持
DATETIME支持
TIME支持
TIMESTAMP支持
  • Gbase 8a 节点支持 DataPipeline 数据目的地的所有通用功能。

功能优化​

  • OceanBase 采集代理支持接口查询状态、进度
  • SQL Server、GaussDB、PostgreSQL 目的地主键或逻辑主键值更新逻辑优化
  • MYSQL 节点支持 SSL 认证

功能优化:OceanBase 采集代理支持接口查询状态、进度,支持自动重启​

  • 采集代理-manager 状态查询接口
  • 采集代理-manager 运行时间接口
  • 采集代理-节点日志解析进度接口
  • 采集代理-详细状态接口

提供以上接口对接客户的监控、运维平台,以便第一时间感知采集代理状态,及时处理问题。
同时,提供了采集代理 Keep Alive 方案,当遇到问题时,采集代理可以自动重启,以当前进度继续采集数据。

功能优化:SQL Server、GaussDB、PostgreSQL 目的地主键或逻辑主键值更新逻辑优化​

当数据源更新数据主键值时,在目的地更新数据不能使用更新后的主键值作为更新条件,更新数据;历史版本中,DataPipeline 对于部分节点的主键值更新处理逻辑不够完善,可能导致数据更新错误;
在 4.7 版本中,我们支持了以更新前(Update Before)的数据值作为更新条件更新数据,同时支持对 Update Before 的数据进行同样的高级清洗与表达式计算,以保证数据更新准确;