跳到主要内容
版本:v5.5

1.2 支持的数据源与数据目的地

使用 DataPipeline 产品之前,您需确定当前版本支持的数据源与数据目的地满足您的需求(本文档针对5.0及后续版本)。

下表列出了 DataPipeline 支持的可以作为数据源的数据节点类型及版本。

作为数据源的数据节点类型及版本​

数据源节点类型版本说明
Oracle+ JDBC 读取模式支持 10G、11G、12C、19C 非多租户版本;
+ Agent 读取模式支持 11G、12C、19C,灾备架构只支持 Oracle ADG,不支持只读库;
+ LogMiner 读取模式支持 11.2.0.4 及 12C 非多租户版本;
+ 不支持 Oracle RAC,不支持灾备架构从库,不支持 Oracle 只读库
MySQL+ JDBC 读取模式支持 5.5、5.6、5.7、8.0 版本;
+ Binlog 读取模式支持 5.5、5.6、5.7、8.0 版本
MS SQL Server+ JDBC 读取模式支持 2008、2012、2014、2016、2017、2019 版本;
+ Change Tracking 读取模式支持 2008、2012、2014、2016、2017、2019 版本的单实例非只读数据库;
+ Change Data Capture 读取模式支持 2008、2012、2014、2016、2017、2019 版本,支持 Always on 备库
PostgreSQL+ JDBC 读取模式支持 9.4、9.5、9.6、10.23、11.22、12.20、13.23、14.20 版本;
+ wal2json 读取模式支持 9.4、9.5、9.6、10.4、10.23、11.22、12.20、13.23、14.20 版本,不支持分布式架构,不支持只读库
Kafka+ 支持Apache Kafka以下版本 0.8.x、0.9.x、0.10.x、0.11.x、1.x.y、2.x.y、3.0.x、3.1.x、3.2.x、3.3.x、3.4.x
+ 支持 MRS(3.2.0-LTS.1 )版本 kafka(2.11-2.4.0)
IBM Db2+ Agent 读取模式支持通过 11.4 版本的 IBM InfoSphere Data Replication 采集 Db2 数据
+ JDBC 读取模式支持 9.7、10.1、10.5、11.1 版本
HashData+ JDBC 读取模式支持 2.5.8 版本
MongoDB+ Java Drivers 连接模式、Change Streams 读取模式支持 3.6、4.2 版本
OceanBase+ JDBC 读取、OB_Log_Reader 读取模式支持 2.x、3.2、4.2 版本
TiDBJDBC 读取模式支持 2.x、3.x、4.x(TiCDC 4.0.6)、5.x(TiCDC 5.x)、6.x(TiCDC 6.x)
TeleDB+ 支持 1.x 版本
- 数据源 TeleDB 定时模式支持 MySQL 官方版 5.6、5.7、8.0;
- 数据源 TeleDB 实时模式 - Binlog 支持 MySQL 官方版 5.6、5.7、8.0,不支持只读库;
AWS RDS for PostgreSQL+ JDBC 读取模式支持 9.5.x、9.6.x、10.x、11.x、12.x、13.x 版本;
+ wal2json 读取模式支持 9.5.7 及以上版本,不支持分布式架构,不支持只读库
Maxcompute+ 支持 MaxCompute 公有云 2.0 、私有云(ODPS)0.30 版本,暂不支持外表
达梦+ LogMiner 读取、JDBC 读取模式支持 DaMeng 8.1.3 版本;
FTP+ 支持 3.0.2 版本,支持读取 CSV、Json 类型文件
SFTP+ 支持 SFTP-6 版本,支持读取 CSV、Json 类型文件
HDFS支持 2.6.x、2.7.x、3.1.x、3.3.x
支持基于MRS 3.2.0-LTS.1 平台的HDFS 3.3.1
阿里云 OSS+ 支持 Aliyun OSS
Hive+ 支持基于 CDH 5.12.2 平台的 Hive 1.1.0,基于 CDH 6.1.1 平台的 Hive 1.x.y、2.x.y,基于 CDH 7.1.7 平台的 Hive 3.1.3
+ 支持基于 BMR 2.1.0 平台的 Hive 3.1.0
+ 支持基于 HDP 3.1.5 平台的 Hive 3.1.0
+ 支持基于MRS 3.2.0-LTS.1 平台的Hive 3.1.0
Inceptor+ 支持 Inceptor 6.2.2-final
API暂无要求
Elasticsearch支持 6.x、7.0-7.17
+ Elasticsearch 7.0-7.17
- 推荐版本为7.12.1以上
自定义暂无要求
偶数 DB(4.17版本下线)支持 4.8.x.x
GaussDB
(旧称为GaussDB(for openGauss))
+ 逻辑复制模式、JDBC读取模式支持1.4、2.0、2.3、3.207 版本
PolarDB-X+ 支持 1.0 版本
GoldenDB+ 5.2.01、5.2.02、5.2.03、6.1.01、6.1.02 集中式、分布式支持 BINLOG、JDBC读取模式
+ 6.1.03 版本集中式、分布式支持 GoldenDB CDC、JDBC 读取模式
DB2 for i (AS/400)+ JDBC读取模式支持读取 7.1 版本DB2 for i (AS/400);
+ IBM InfoSphere Data Replication读取模式支持 11.4 版本采集7.1 版本DB2 for i (AS/400)数据
+ AS/400 Journal 读取模式,读取DB2 for i (AS/400);仅支持增量读取
ArgoDB+ JDBC 读取支持 5.2、6.0 版本
Vastbase+ JDBC 读取、逻辑复制读取模式支持 Vastbase G100 V2.2.10 版本
Gbase 8c+ JDBC 读取、逻辑复制读取模式支持 V5 3.0.0 版本
Gbase 8s+ JDBC 读取、Gbase 8s CDC 读取支持 Gbase 8s 8.7、8.8 版本;
+ Gbase 8s 采集代理支持 Gbase 8s 8.7 版本
Gbase 8a+ JDBC 读取支持 Gbase 8a 9.5.3
ClickHouse+ JDBC 读取支持 ClickHouse v20、v22 版本
MogDB+ JDBC 读取、逻辑复制读取模式支持 5.0.x
Doris/SelectDB+ JDBC 读取支持Doris/SelectDB Enterprise 1.2.8、2.0.10、2.1.10版本
TDSQL MySQL+ JDBC 读取、Binlog 读取模式支持 10.3.19.x,10.3.20.x,10.3.21.x,10.3.22.x
ELK(计划下线)+ JDBC 读取支持 6.5.1 版本
StarRocks+ 支持 StarRocks 2.5.9、StarRocks 3.1.2、StarRocks 3.3.14 版本
TDSQL PostgreSQL+ JDBC 读取、wal2json 读取模式支持 5.21.8
KingbaseES+ JDBC 读取、decoderbufs 读取支持V8、V9版本
YaShanDB+ JDBC 读取支持23.4.1(企业版)的yashan模式以及mysql模式
+ YStream 读取支持23.4.1(企业版)的yashan模式

表格 1 DataPipeline 数据融合产品支持数据源节点类型与版本

下表列出了 DataPipeline 支持的可以作为数据目的地的数据节点类型及版本。

作为数据目的地的数据节点类型及版本​

数据目的地节点类型支持版本
Oracle+ JDBC 写入模式支持 10G、11G、12C、19C 非多租户版本
MySQL+ JDBC 写入模式支持官方版 5.5、5.6、5.7、8.0 版本
MS SQL Server+ JDBC 写入模式支持 2008、2012、2014、2016、2017、2019
PostgreSQL+ JDBC 写入模式支持 9.4、9.5、9.6、10.23、11.22、12.20、13.23、14.20 版本
Kafka支持Apache Kafka以下版本 0.8.x、0.9.x、0.10.x、0.11.x、1.x.y、2.x.y、3.0.x、3.1.x、3.2.x、3.3.x、3.4.x
支持基于3.2.0-LTS.1 MRS 平台的kafka 2.11-2.4.0
IBM Db2+ JDBC 写入模式支持 9.7、10.1、10.5、11.1 版本
Hashdata+ JDBC COPY 写入模式支持2.5.8
Greenplum支持 4.x.y、5.x.y、6.x.y 版本
MongoDB+ JDBC 写入模式支持 3.6、4.2 版本
OceanBase+ JDBC 写入模式支持 2.x、3.2、4.2 版本
TiDB支持 2.x、3.x、4.x、5.x、6.x 版本;
Open Gauss+ JDBC 写入模式支持 opengauss 2.1.0、3.1.0 版本
GaussDB DWS+ JDBC 写入模式支持 GaussDB 200 8.1.1 版本
TelePG+ TelePG JDBC 写入模式 支持 PostgreSQL 官方版 9.6.24、10.23、11.22、12.22 版本
SequoiaDB+ JDBC 写入模式支持 2.x、3.x 版本
Amazon Redshift+ 支持 Amazon Redshift 版本
AWS RDS for PostgreSQL+ JDBC 写入模式支持 9.5.x、9.6.x、10.x、11.x、12.x、13.x 版本
Redis+ JDBC 写入模式支持 3.0、3.2、4.0、5.0、6.0、7.0 版本
达梦+ JDBC 写入支持 DaMeng 8.1.3 版本;
Maxcompute+ 支持 MaxCompute 公有云 2.0 、私有云(ODPS)0.30 版本,暂不支持外表
FTP+ 支持 3.0.2 支持写入 CSV、Json 类型文件
SFTP+ 支持 SFTP-6 写入 CSV、Json 类型文件
HDFS支持 2.6.x、2.7.x、3.1.x、3.3.x
支持基于MRS 3.2.0-LTS.1 平台的HDFS 3.3.1
阿里云 OSS+ 支持 Aliyun OSS
Hive+ 支持基于 CDH 5.12.2 平台的 Hive 1.1.0,基于 CDH 6.1.1 平台的 Hive 1.x.y、2.x.y,基于 CDH 7.1.7 平台的 Hive 3.1.3
+ 支持基于 BMR 2.1.0 平台的 Hive 3.1.0
+ 支持基于 HDP 3.1.5 平台的 Hive 3.1.0
+ 支持基于MRS 3.2.0-LTS.1 平台的Hive 3.1.0
Inceptor+ 支持 Inceptor 6.2.2-final
HBASE+ 支持 1.2.0、HBASE 客户端写入模式支持2.1.0 (cdh6.1.1)
Hudi+ 支持 CDH平台 Hudi 0.9.0、Hudi 0.10.0;MRS平台 Hudi 0.11.0
Elasticsearch支持 6.x、7.0-7.17
+ Elasticsearch 7.0-7.17
- 推荐版本为7.12.1以上
Hyperbase+ 支持 TDH-6.2.2 版本
自定义暂无要求
偶数 DB(4.17版本下线)支持 4.8.x.x
ClickHouse+ JDBC 写入支持 ClickHouse v20、v22 版本
Datahub+ 支持云环境 Datahub 最新版本
ArgoDB+ 文件写入、API写入支持 5.2、6.0 版本;
TDSQL MySQL+ JDBC 写入支持产品版本 10.3.19.x、10.3.20.x、10.3.21.x、10.3.22.x
+ 内核版本 MYSQL 5.7 和 MYSQL 8.0
+ 支持分布式部署和集中式部署
StarRocks+ StarRocks Stream Load 写入模式支持 StarRocks 2.5.9、StarRocks 3.1.2、StarRocks 3.3.14 版本
Paimon+ Paimon JAVA Client 写入支持 Paimon 0.5.0-incubating、Paimon 1.0.1 版本,并支持写入 Paimon 1.0.1 版本 Juice FS 文件系统
Gbase 8a+ JDBC 写入、文件写入支持 Gbase 8a 9.5.3
Gbase 8c+ JDBC 写入支持 V5 3.0.0 版本;
Gbase 8s+ JDBC 写入支持 Gbase 8s 8.8 版本
PolarDB-X+ 支持 1.0 版本
MogDB+ JDBC 写入支持5.0.x 版本
AnalyticDB for MySQL+ 支持AnalyticDB for MySQL 2.0版本
Doris/SelectDB+ JDBC 写入、Stream Load写入支持Doris/SelectDB Enterprise 1.2.8、2.0.10、2.1.10版本
阿里云 RocketMQ+ 私有云消息队列RocketMQ 3.16.2
+ 公有云消息队列 5.0 版本
Iceberg+ 支持阿里云 ALL-MAPREDUCE EMR-5.17.1 的 Iceberg 1.5.2
阿里云 AnalyticDB PostgreSQL+ 支持阿里云 AnalyticDB PostgreSQL 6.0 ,7.0
阿里云 Hologres+ 支持阿里云 Hologres 2.2 版本
ELK(计划下线)+ JDBC COPY 写入支持 6.5.1 版本
GaussDB+ JDBC写入模式支持1.4、2.0、2.3、3.207 版本
TDSQL PostgreSQL+ JDBC 写入支持 5.21.8
KingbaseES+ JDBC 写入持V8、V9版本
Milvus+ SDK 写入支持2.5.10
Snowflake+ 支持Snowflake云数仓
YaShanDB+ JDBC 写入支持23.4.1(企业版)的yashan模式以及mysql模式
GoldenDB+ 6.1.02 版本集中式、分布式支持 JDBC 写入

表格 2 DataPipeline 数据融合产品支持数据目的地节点类型与版本


跳板机部署支持节点​

目前DP支持跳板机部署模式,对于跳板机的部署模型,当前实现有一些限制,支持的节点如下:

序号节点
1Vastbase
2Gbase 8s
3Doris/ SelectDB
4GaussDB
5Dameng
6OceanBase
7Greenplum
8openGauss
9PostgreSQL、新PostgreSQL
10Db2
11Db2 i/AS 400
12Oracle
13MySQL、新MySQL
14GoldenDB
15TDSQL-MySQL
16Polardb
17TiDB
18MogDB
19MS SQLServer
20TDSQL_PostgreSQL
21Hashdata
22Gbase 8c
23Gbase 8a
24StarRocks
信息

其余未声明节点暂不支持跳板机部署模式。

注意跳板机的节点,不支持分片读取。