跳到主要内容
版本:v4.7

V4.5 版本更新日志

2023-12​

功能列表​

  • 新增功能:
    • Gbase 8s 数据源支持 Gbase 8s CDC 增量采集和 JDBC 批量采集
    • 数据校验功能支持 TiDB、PostgreSQL 数据节点
    • 支持采集 Oracle 多租户容器数据库的增量数据
  • 功能优化:
    • Kafka 数据源 Topic 支持配置不同的序列化器
    • 数据节点、链路、任务列表交互优化

新增功能​

新增功能:Gbase 8s 数据源支持 Gbase 8s CDC 增量采集和 JDBC 批量采集​

功能背景
GBase 8s 是天津南大通用数据技术股份有限公司自主研发的、支持共享存储集群、两地三中心部署的、成熟稳定的百 T 金融级国产交易型数据库。适用于 OLTP 应用场景,包括金融、电信行业的关键核心业务系统,安全、党政、国防等行业对信息安全性有较高要求的信息系统,以及大型企业的经营类、管理类信息系统,能够在 80%以上场景中替换国际主流数据库及共享存储集群。Gbase 8s 在四川银行、泸州银行、达州银行等银行系统广泛应用。
使用场景

  • 满足业务上实时采集和离线批量采集 Gbase 8s 8.7 数据的要求。
  • 配合业务操作流程,实现程序自动捕获并处理 Gbase 8s 数据源的结构变化。

功能说明

  • 支持通过 Gbase 8s CDC 的方式实时采集 Gbase 8s 的增量数据
  • 支持通过 JDBC 的方式批量采集 Gbase 8s 的全量数据
  • Gbase 8s CDC 作为数据源节点时,字段类型的支持情况如下:
字段类型是否支持
1BIGINT是
2BIGSERIAL是
3BYTE是,采集此数据需反查数据库,会对数据库造成压力
4CHAR(n)是
5CHARACTER VARYING(m,r)是
6DATE是
7DATETIME是
8DECIMAL (p,s)是
9DOUBLE是
10FLOAT(n)是
11INT8是
12INTEGER是
13INTERVAL是
14MONEY(p,s)是
15NCHAR(n)否
16NUMERIC(p,s)是
17NVARCHAR(m,r)是
18REAL是
19SERIAL(n)是
20SERIAL8(n)是
21SMALLFLOAT是
22SMALLINT是
23TEXT是,采集此数据需反查数据库,会对数据库造成压力
24VARCHAR(m,r)是
25LVARCHAR是
26BLOB是,采集此数据需反查数据库,会对数据库造成压力
27BOOLEAN是
28CLOB是,采集此数据需反查数据库,会对数据库造成压力
29JSON是,采集此数据需反查数据库,会对数据库造成压力
30BSON是,采集此数据需反查数据库,会对数据库造成压力
31XML是
32ROW是
33Collection Data Type(Set、List、Multiset)否
  • Gbase 8s 数据源节点支持 DataPipeline 数据源的所有通用功能

新增功能:数据校验功能支持TiDB、PostgreSQL数据节点​

  • 功能说明
    • 支持校验TiDB、PostgreSQL节点的数据条数、数据内容。
    • 支持数据校验已支持的全部标准功能。
  • 使用限制
    • 数据内容校验要求数据源表与数据目的地表都存在主键或唯一索引,且主键字段或唯一索引该字段需要对应
    • 数据内容校验不支持包含联合主键或联合唯一索引的表。

新增功能:支持采集 Oracle 多租户容器数据库的增量数据​

功能背景
多租户容器数据库是 Oracle 数据库的一种架构。CDB 作为根数据库,PDB作为容器数据库或应用容器数据库,来以一个数据库实例分多租户支撑不同业务。
在历史版本中,为应对多租户数据库,我们需要在对应每一个PDB安装一个采集代理,以采集其增量数据,在PDB数量较多时,会导致采集代理数量过多,带来更多的负载的同时也不好管理。
在新版本中,我们支持了一个采集代理程序采集一个多租户容器数据库实例。
功能说明

  • 支持一个采集代理采集多租户数据库中所有租户的增量数据
  • 支持多租户数据库与RAC、ADG等部署/高可用架构组合使用,支持高可用切换
  • 详见:2.1 管理数据节点 - 添加数据节点 - 数据节点-基础配置 - 配置 Oracle 数据节点

功能优化​

  • Kafka 数据源 Topic 支持配置不同的序列化器
  • 数据节点、链路、任务列表交互优化