V4.0 版本更新日志
2023-07
功能列表
- 支持 TDSQL-MYSQL 做数据目的地
- 支持 ArgoDB 做数据目的地
- 支持实时解析 GoldenDB 数据源
- 支持 JDBC 方式采集 DB2 for i (AS/400) 数据源
- 支持为 TiDB 数据目的地表配置逻辑主键
- 支持为 底层存储为文件型数据节点配置16进制ASCII分隔符
新增功能
新增功能:支持 TDSQL-MYSQL 数据目的地
功能背景
布式数据库 TDSQL是腾讯打造的一款企业级数据库产品,具备强一致高可用、全球部署架构、高 SQL 兼容度、分布式水平扩展、高性能、完整的分布式事务支持、企业级安全等特性,同时提供智能 DBA、自动化运营、监控告警等配套设施,为客户提供完整的分布式数据库解决方案。
TDSQL MySQL版(TDSQL for MySQL)是一种支持自动水平拆分、Shared Nothing 架构的分布式数据库。提供公有云和专有云、纯软件(独立)部署、一体机(柜)等多种部署方案,可以提供集中式数据库实例、分布式数据库实例。同时 TDSQL具备虚拟化多租户、强同步复制、线程池、热点更新、内核优化等能力,能够为用户提供事前、事中、事后的全维度安全方案,并获得多项国际和国家认证。
使用场景
- TDSQL MYSQL目前支持10.3.19.x版本,在 DataPipeline 4.0 版本中可作为数据目的地使用。目前支持 5.2 版本,在DataPipeline 4.0版本中可作为数据目的地使用。
- 作为目的地使用,可以使用JDBC写入方式,将源端的增量和全量数据写入到 TDSQL MYSQL目的地。
功能说明
- 支持通过JDBC连接到TDSQL MYSQL节点进行数据的写入
- 支持 TDSQL MYSQL 分布式、集中式实例,支持 MYSQL 5.7 和 MYSQL 8.0 内核
- TDSQL MYSQL 作为目的地节点时,对字段类型的支持情况如下:
| 序号 | 字段类型 | 是否支持 |
|---|---|---|
| 1 | TINYINT | 是 |
| 2 | SMALLINT | 是 |
| 3 | MEDIUMINT | 是 |
| 4 | INT | 是 |
| 5 | BIGINT | 是 |
| 6 | FLOAT | 是 |
| 7 | DOUBLE | 是 |
| 8 | DECIMAL | 是 |
| 9 | NUMERIC | 是 |
| 10 | CHAR | 是 |
| 11 | VARCHAR | 是 |
| 12 | BINARY | 是 |
| 13 | VARBINARY | 是 |
| 14 | BLOB | 是 |
| 15 | TEXT | 是 |
| 16 | TINYBLOB | 是 |
| 17 | TINYTEXT | 是 |
| 18 | MEDIUMBLOB | 是 |
| 19 | MEDIUMTEXT | 是 |
| 20 | LONGBLOB | 是 |
| 21 | LONGTEXT | 是 |
| 22 | ENUM | 是 |
| 23 | SET | 是 |
| 24 | YEAR | 是 |
| 25 | TIME | 是 |
| 26 | DATE | 是 |
| 27 | DATETIME | 是 |
| 28 | TIMESTAMP | 是 |
| 29 | JSON | 是 |
- TDSQL 节点支持 DataPipeline 数据目的地的所有通用功能
新增功能:支持 ArgoDB 数据目的地
功能背景
ArgoDB 是星环自主研发的分布式分析型数据库,可以替代 Hadoop + MPP 的混合架构。我们使用标准的 SQL 语法支持用户业务的建设,并且能够给用户提供多模型数据分析、实时数据处理、存储与计算模块解耦、异构服务器混合部署等先进技术能力。用户可以通过一个 ArgoDB 数据库,实现其数据仓库业务、实时数据仓库业务、数据集市业务、OLAP 数据分析业务、事务型分析型业务混合负载业务、异构数据联邦分析计算业务等各种场景的建设需求。
Q:从数据库架构来看, ArgoDB 和 Inceptor 很相似,请问这两者的区别是什么,在什么情况下推荐使用 Inceptor ,在什么情况下推荐使用 ArgoDB 。
A:场景上: Inceptor 更多用于做湖仓, ArgoDB 用于做湖仓集一体,另包含实时数仓、AETP等。功能上 ArgoDB 更全面;性能是 Inceptor 2-10倍(不同场景)
使用场景
- ArgoDB 目前支持 5.2 版本,在DataPipeline 4.0版本中可作为数据目的地使用。
- 作为目的地使用,可以使用文件写入方式,将源端的增量和全量数据写入到 ArgoDB 目的地。
功能说明
- DataPipeline支持 ArgoDB 作为数据目的地。
- ArgoDB 作为目的地节点时, ArgoDB 文件写入支持写入内表,暂不支持向外表写入数据。对于不同的内表引擎类型,支持情况如下表:
| 表类型 | 是否支持 |
|---|---|
| ORC 事务表 | 是 |
| ORC 非事务表 | 是 |
| HOLODESK 内表 | 是 |
| TEXTFILE 内表 | 否 |
| SEQUENCEFILE 内表 | 否 |
| RCFILE 内表 | 否 |
| PARQUET 内表 | 否 |
| HYPERDRIVE 内表 | 是 |
| HYPERBASE 内表 | 是 |
| ESDRIVE 内表 | 否 |
| SEARCH 内表 | 否 |
- ArgoDB 做目的地节点时,对字段类型的支持情况如下:
| 序号 | 字段类型 | 是否支持 |
|---|---|---|
| 1 | TINYINT | 是 |
| 2 | SMALLINT | 是 |
| 3 | INT | 是 |
| 4 | BIGINT | 是 |
| 5 | FLOAT | 是 |
| 6 | DOUBLE | 是 |
| 7 | DECIMAL(m,n), DECIMAL (默认为 DECIMAL(10,2)) | 是 |
| 8 | BOOLEAN | 是 |
| 9 | STRING | 是 |
| 10 | CHAR(n) | 是,Hyperbase、Hyperdrive表不支持此类型 |
| 11 | VARCHAR(n) | 是 |
| 12 | VARCHAR2(n) | 是,Hyperbase、Hyperdrive表不支持此类型 |
| 13 | DATE | 是 |
| 14 | TIMESTAMP | 是 |
| 15 | TIME | 是,Hyperbase、Hyperdrive表不支持此类型 |
| 16 | BLOB | 是 |
| 17 | CLOB | 是 |
新增功能:支持实时解析 GoldenDB 数据源
功能背景
GoldenDB 是中兴通讯研发的的关系型分布式数据库产品,产品深耕金融、政企等行业,采用无共享架构,融入中兴通讯多年的数据库研发经验,为用户提供了高可用、高可靠、可扩展的“大数据+分布式数据库”解决方案;满足 OLTP 类应用,同时兼顾OLAP数据处理要求,提供统一的基础数据服务平台,有利于提升业务创新能力和用户体验。
使用场景
- GoldenDB 在DataPipeline 4.0版本中可作为数据源使用。
- 以下版本支持通过JDBC方式采集批量数据:GoldenDB 5.2.01、GoldenDB 5.2.02、GoldenDB 5.2.03、GoldenDB 6.1.01 、GoldenDB 6.1.02、GoldenDB 6.1.03。
- 以下版本支持通过GoldenDB CDC方式采集实时数据:GoldenDB 6.1.02、GoldenDB 6.1.03。
功能说明
- 支持通过JDBC连接 GoldenDB 节点读取批量数据。
- 支持通过GoldenDB CDC方式采集GoldenDB节点实时数据。
- 支持 GoldenDB 节点相关语义映射、结构变化策略、数据加载策略。
- 支持 GoldenDB 分布式部署模式,集中式部署模式。
新增功能:支持 JDBC 方式采集 DB2 for i (AS/400) 数据源
功能背景
历史版本DataPipeline支持使用IBM InfoSphere Data Replication方式采集DB2 for i (AS/400) 数据。实际使用过程发现,在IBM InfoSphere Data Replication获取全量数据时,如果表有数据写入,IBM InfoSphere Data Replication可能会对表添加共享锁,导致刷新订阅报错,无法获取增量数据。
基于此问题,DataPipeline 4.0版本支持通过JDBC方式连接DB2 for i (AS/400)并获取全量数据,避免表被锁导致数据同步中断。
使用场景
- JDBC读取模式支持DB2 for i (AS/400) 7.1版本。
功能说明
- 支持通过JDBC连接到 DB2 for i (AS/400) 节点读取批量数据
- 支持分别配置全量读取模式与增量读取模式。全量读取模式支持JDBC与IBM InfoSphere Data Replication,增量读取模式支持IBM InfoSphere Data Replication。
- JDBC模式支持分片读取全量数据,提升全量数据获取的速率。