跳到主要内容
版本:v4.10

V4.0 版本更新日志

2023-07​

功能列表​

  • 支持 TDSQL-MYSQL 做数据目的地
  • 支持 ArgoDB 做数据目的地
  • 支持实时解析 GoldenDB 数据源
  • 支持 JDBC 方式采集 DB2 for i (AS/400) 数据源
  • 支持为 TiDB 数据目的地表配置逻辑主键
  • 支持为 底层存储为文件型数据节点配置16进制ASCII分隔符

新增功能​

新增功能:支持 TDSQL-MYSQL 数据目的地​

功能背景
布式数据库 TDSQL是腾讯打造的一款企业级数据库产品,具备强一致高可用、全球部署架构、高 SQL 兼容度、分布式水平扩展、高性能、完整的分布式事务支持、企业级安全等特性,同时提供智能 DBA、自动化运营、监控告警等配套设施,为客户提供完整的分布式数据库解决方案。
TDSQL MySQL版(TDSQL for MySQL)是一种支持自动水平拆分、Shared Nothing 架构的分布式数据库。提供公有云和专有云、纯软件(独立)部署、一体机(柜)等多种部署方案,可以提供集中式数据库实例、分布式数据库实例。同时 TDSQL具备虚拟化多租户、强同步复制、线程池、热点更新、内核优化等能力,能够为用户提供事前、事中、事后的全维度安全方案,并获得多项国际和国家认证。

使用场景

  • TDSQL MYSQL目前支持10.3.19.x版本,在 DataPipeline 4.0 版本中可作为数据目的地使用。目前支持 5.2 版本,在DataPipeline 4.0版本中可作为数据目的地使用。
  • 作为目的地使用,可以使用JDBC写入方式,将源端的增量和全量数据写入到 TDSQL MYSQL目的地。

功能说明

  • 支持通过JDBC连接到TDSQL MYSQL节点进行数据的写入
  • 支持 TDSQL MYSQL 分布式、集中式实例,支持 MYSQL 5.7 和 MYSQL 8.0 内核
  • TDSQL MYSQL 作为目的地节点时,对字段类型的支持情况如下:
序号字段类型是否支持
1TINYINT是
2SMALLINT是
3MEDIUMINT是
4INT是
5BIGINT是
6FLOAT是
7DOUBLE是
8DECIMAL是
9NUMERIC是
10CHAR是
11VARCHAR是
12BINARY是
13VARBINARY是
14BLOB是
15TEXT是
16TINYBLOB是
17TINYTEXT是
18MEDIUMBLOB是
19MEDIUMTEXT是
20LONGBLOB是
21LONGTEXT是
22ENUM是
23SET是
24YEAR是
25TIME是
26DATE是
27DATETIME是
28TIMESTAMP是
29JSON是
  • TDSQL 节点支持 DataPipeline 数据目的地的所有通用功能

新增功能:支持 ArgoDB 数据目的地​

功能背景
ArgoDB 是星环自主研发的分布式分析型数据库,可以替代 Hadoop + MPP 的混合架构。我们使用标准的 SQL 语法支持用户业务的建设,并且能够给用户提供多模型数据分析、实时数据处理、存储与计算模块解耦、异构服务器混合部署等先进技术能力。用户可以通过一个 ArgoDB 数据库,实现其数据仓库业务、实时数据仓库业务、数据集市业务、OLAP 数据分析业务、事务型分析型业务混合负载业务、异构数据联邦分析计算业务等各种场景的建设需求。
Q:从数据库架构来看, ArgoDB 和 Inceptor 很相似,请问这两者的区别是什么,在什么情况下推荐使用 Inceptor ,在什么情况下推荐使用 ArgoDB 。
A:场景上: Inceptor 更多用于做湖仓, ArgoDB 用于做湖仓集一体,另包含实时数仓、AETP等。功能上 ArgoDB 更全面;性能是 Inceptor 2-10倍(不同场景)

使用场景

  • ArgoDB 目前支持 5.2 版本,在DataPipeline 4.0版本中可作为数据目的地使用。
  • 作为目的地使用,可以使用文件写入方式,将源端的增量和全量数据写入到 ArgoDB 目的地。

功能说明

  • DataPipeline支持 ArgoDB 作为数据目的地。
  • ArgoDB 作为目的地节点时, ArgoDB 文件写入支持写入内表,暂不支持向外表写入数据。对于不同的内表引擎类型,支持情况如下表:
表类型是否支持
ORC 事务表是
ORC 非事务表是
HOLODESK 内表是
TEXTFILE 内表否
SEQUENCEFILE 内表否
RCFILE 内表否
PARQUET 内表否
HYPERDRIVE 内表是
HYPERBASE 内表是
ESDRIVE 内表否
SEARCH 内表否
  • ArgoDB 做目的地节点时,对字段类型的支持情况如下:
序号字段类型是否支持
1TINYINT是
2SMALLINT是
3INT是
4BIGINT是
5FLOAT是
6DOUBLE是
7DECIMAL(m,n), DECIMAL (默认为 DECIMAL(10,2))是
8BOOLEAN是
9STRING是
10CHAR(n)是,Hyperbase、Hyperdrive表不支持此类型
11VARCHAR(n)是
12VARCHAR2(n)是,Hyperbase、Hyperdrive表不支持此类型
13DATE是
14TIMESTAMP是
15TIME是,Hyperbase、Hyperdrive表不支持此类型
16BLOB是
17CLOB是
  • ArgoDB 节点支持 DataPipeline 数据目的地的所有通用功能

新增功能:支持实时解析 GoldenDB 数据源​

功能背景
GoldenDB 是中兴通讯研发的的关系型分布式数据库产品,产品深耕金融、政企等行业,采用无共享架构,融入中兴通讯多年的数据库研发经验,为用户提供了高可用、高可靠、可扩展的“大数据+分布式数据库”解决方案;满足 OLTP 类应用,同时兼顾OLAP数据处理要求,提供统一的基础数据服务平台,有利于提升业务创新能力和用户体验。
使用场景

  • GoldenDB 在DataPipeline 4.0版本中可作为数据源使用。
  • 以下版本支持通过JDBC方式采集批量数据:GoldenDB 5.2.01、GoldenDB 5.2.02、GoldenDB 5.2.03、GoldenDB 6.1.01 、GoldenDB 6.1.02、GoldenDB 6.1.03。
  • 以下版本支持通过GoldenDB CDC方式采集实时数据:GoldenDB 6.1.02、GoldenDB 6.1.03。

功能说明

  • 支持通过JDBC连接 GoldenDB 节点读取批量数据。
  • 支持通过GoldenDB CDC方式采集GoldenDB节点实时数据。
  • 支持 GoldenDB 节点相关语义映射、结构变化策略、数据加载策略。
  • 支持 GoldenDB 分布式部署模式,集中式部署模式。

新增功能:支持 JDBC 方式采集 DB2 for i (AS/400) 数据源​

功能背景
历史版本DataPipeline支持使用IBM InfoSphere Data Replication方式采集DB2 for i (AS/400) 数据。实际使用过程发现,在IBM InfoSphere Data Replication获取全量数据时,如果表有数据写入,IBM InfoSphere Data Replication可能会对表添加共享锁,导致刷新订阅报错,无法获取增量数据。
基于此问题,DataPipeline 4.0版本支持通过JDBC方式连接DB2 for i (AS/400)并获取全量数据,避免表被锁导致数据同步中断。
使用场景

  • JDBC读取模式支持DB2 for i (AS/400) 7.1版本。

功能说明

  • 支持通过JDBC连接到 DB2 for i (AS/400) 节点读取批量数据
  • 支持分别配置全量读取模式与增量读取模式。全量读取模式支持JDBC与IBM InfoSphere Data Replication,增量读取模式支持IBM InfoSphere Data Replication。
  • JDBC模式支持分片读取全量数据,提升全量数据获取的速率。