跳到主要内容
版本:v4.23

1.2 支持的数据源与数据目的地

使用 DataPipeline 产品之前,您需确定当前版本支持的数据源与数据目的地满足您的需求。

说明:\ 在 3.7、4.0 、4.5 版本中无法使用 PolarDB-X 数据节点

下表列出了 DataPipeline 支持的可以作为数据源的数据节点类型及版本。

作为数据源的数据节点类型及版本​

数据源节点类型版本说明
OracleJDBC 读取模式支持 10G、11G、12C、19C 非多租户版本;Agent 读取模式支持 11G、12C、19C,灾备架构只支持 Oracle ADG,不支持只读库;LogMiner 读取模式支持 11.2.0.4 及 12C 非多租户版本,不支持 Oracle RAC,不支持灾备架构从库,不支持 Oracle 只读库
MySQLJDBC 读取模式支持 5.5、5.6、5.7、8.0 版本;Binlog 读取模式支持 5.5、5.6、5.7、8.0 版本
MS SQL ServerJDBC 读取模式支持 2008、2012、2014、2016、2017、2019 版本;Change Tracking 读取模式支持 2008、2012、2014、2016、2017、2019 版本的单实例非只读数据库;Change Data Capture 读取模式支持 2008、2012、2014、2016、2017、2019 版本,支持 Always on 备库
PostgreSQLJDBC 读取模式支持 9.4、9.5、9.6、10.x、11.x、12.x、13.x、14.x 版本;wal2json 读取模式支持 9.4、9.5、9.6、10.4、10.x、11.x、12.x、13.x、14.x 版本,不支持分布式架构,不支持只读库
Kafka支持Apache Kafka以下版本 0.8.x、0.9.x、0.10.x、0.11.x、1.x.y、2.x.y、3.0.x、3.1.x、3.2.x、3.3.x、3.4.x
支持 MRS(3.2.0-LTS.1 )版本 kafka(2.11-2.4.0)
IBM Db2Agent 读取模式支持通过 11.4 版本的 IBM InfoSphere Data Replication 采集 Db2 数据 JDBC 读取模式支持 9.x、10.x、11.x 版本
HashDataJDBC 读取模式支持 2.x 版本
MongoDB支持 3.6、4.2 版本
OceanBase支持 2.x、3.x、4.x 版本
TiDBJDBC 读取模式支持 2.x、3.x、4.x(TiCDC 4.0.6)、5.x(TiCDC 5.x)、6.x(TiCDC 6.x)
TeleDB支持 1.x 版本
AWS RDS for PostgreSQLJDBC 读取模式支持 9.5.x、9.6.x、10.x、11.x、12.x、13.x 版本;wal2json 读取模式支持 9.5.7 及以上版本,不支持分布式架构,不支持只读库
Maxcompute支持 MaxCompute 公有云 2.0 、私有云(ODPS)0.30 版本,暂不支持外表
达梦支持 DM8 版本
FTP支持 3.0.2 版本,支持读取 CSV、Json 类型文件
SFTP支持 SFTP-6 版本,支持读取 CSV、Json 类型文件
HDFS支持 2.6.x、2.7.x、3.1.x、3.3.x
支持基于MRS 3.2.0-LTS.1 平台的HDFS 3.3.1
阿里云 OSS支持 Aliyun OSS
Hive支持基于 CDH 5.12.2 平台的 Hive 1.1.0,基于 CDH 6.1.1 平台的 Hive 1.x.y、2.x.y,基于 CDH 7.1.7 平台的 Hive 3.1.3
支持基于 BMR 2.1.0 平台的 Hive 3.1.0
支持基于 HDP 3.1.5 平台的 Hive 3.1.0
支持基于MRS 3.2.0-LTS.1 平台的Hive 3.1.0
Inceptor支持 Inceptor 6.2.2-final
API暂无要求
Elasticsearch支持 6.x、7.x 版本
自定义暂无要求
偶数 DB(4.17版本下线)支持 4.8.x.x
GaussDB
(旧称为GaussDB(for openGauss))
支持1.4、2.x、3.x 版本
PolarDB-X支持 1.0 版本
GoldenDB5.2.01、5.2.02、5.2.03、6.1.01、6.1.02 集中式、分布式支持 BINLOG、JDBC读取模式
6.1.03 版本集中式、分布式支持 GoldenDB CDC、JDBC 读取模式
DB2 for i (AS/400)JDBC读取模式支持读取 7.1 版本DB2 for i (AS/400);
IBM InfoSphere Data Replication读取模式支持 11.4 版本采集7.1 版本DB2 for i (AS/400)数据
AS/400 Journal 读取模式,读取DB2 for i (AS/400);仅支持增量读取
ArgoDB支持 5.2、6.0 版本
Vastbase支持 Vastbase G100 V2.2.10 版本
Gbase 8c支持 V5 3.0.0 版本
Gbase 8s支持 8.7、8.8 版本
Gbase 8a支持 Gbase 8a 9.5.x
ClickHouse支持 20.x、22.x 版本
MogDB支持 5.0.x
Doris/SelectDB支持Doris/SelectDB Enterprise 1.2,2.0 版本
TDSQL MySQL支持10.3.19.x,10.3.20.x,10.3.21.x,10.3.22.x
ELK(计划下线)支持 6.5.1 版本
StarRocks支持 StarRocks 2.5、3.1.x、3.3.x 版本
TDSQL PostgreSQL支持5.21.x
KingbaseES支持V8、V9版本

表格 1 DataPipeline 数据融合产品支持数据源节点类型与版本

下表列出了 DataPipeline 支持的可以作为数据目的地的数据节点类型及版本。

作为数据目的地的数据节点类型及版本​

数据目的地节点类型支持版本
Oracle支持 10G、11G、12C、19C 非多租户版本
MySQL支持官方版 5.5、5.6、5.7、8.0 版本
MS SQL Server支持 2008、2012、2014、2016、2017、2019
PostgreSQL支持 9.4、9.5、9.6、10.x、11.x、12.x、13.x、14.x版本
Kafka支持Apache Kafka以下版本 0.8.x、0.9.x、0.10.x、0.11.x、1.x.y、2.x.y、3.0.x、3.1.x、3.2.x、3.3.x、3.4.x
支持基于3.2.0-LTS.1 MRS 平台的kafka 2.11-2.4.0
IBM Db2支持 9.x、10.x、11.x 版本
HashdataJDBC 写入模式支持 2.x 版本
Greenplum支持 4.x.y、5.x.y、6.x.y 版本
MongoDB支持 3.6、4.2 版本
OceanBase支持 2.x、3.x、4.x 版本
TiDB支持 2.x、3.x、4.x、5.x、6.x 版本;
Open Gauss支持 1.x.x、2.x.x 版本
GaussDB DWS支持 GaussDB 200 8.1.1 版本
TelePG支持 1.x 版本
SequoiaDB支持 2.x、3.x、5.x 版本
Amazon Redshift支持 latest 版本
AWS RDS for PostgreSQL支持 9.5.x、9.6.x、10.x、11.x、12.x、13.x 版本
Redis支持 2.4、2.6、2.8、3.0、3.2、4.0、5.0、6.0 版本
达梦支持 DM8 版本
Maxcompute支持 MaxCompute 公有云 2.0 、私有云(ODPS)0.30 版本
FTP支持 3.0.2 支持写入 CSV、Json 类型文件
SFTP支持 SFTP-6 写入 CSV、Json 类型文件
HDFS支持 2.6.x、2.7.x、3.1.x、3.3.x
支持基于MRS 3.2.0-LTS.1 平台的HDFS 3.3.1
阿里云 OSS支持 Aliyun OSS
Hive支持基于 CDH 5.12.2 平台的 Hive 1.1.0,基于 CDH 6.1.1 平台的 Hive 1.x.y、2.x.y,基于 CDH 7.1.7 平台的 Hive 3.1.3
支持基于 BMR 2.1.0 平台的 Hive 3.1.0
支持基于 HDP 3.1.5 平台的 Hive 3.1.0
支持基于MRS 3.2.0-LTS.1 平台的Hive 3.1.0
Inceptor支持 transwary-6.2.2-final
HBASE支持 1.x、2.x(cdh6.1.1)
Hudi支持 CDH 平台 Hudi 0.9.0、0.10.0 版本
支持 MRS 平台 Hudi 0.11.0 版本
Elasticsearch支持 6.x、7.x 版本
Hyperbase支持 TDH-6.x.y 版本
自定义暂无要求
偶数 DB(4.17版本下线)支持 4.8.x.x
ClickHouse支持 20.x、22.x 版本
Datahub支持云环境 Datahub 最新版本
ArgoDB支持 5.2、6.0 版本
TDSQL MySQL支持 TDSQL MYSQL 产品版本支持10.3.19.x,10.3.20.x,10.3.21.x,10.3.22.x,内核版本 MYSQL 5.7 和 MYSQL 8.0,支持分布式部署和集中式部署
StarRocks支持 StarRocks 2.5、3.1.x、3.3.x 版本
Paimon支持 Paimon 0.5.0-incubaing、Paimon 1.0.1(HDFS文件系统以及JuiceFS文件系统)
Gbase 8a支持 Gbase 8a 9.5.x
Gbase 8c支持 Gbase 8c V5_3.0.0
PolarDB-X支持 1.0 版本
MogDB支持5.0.x 版本
AnalyticDB for MySQL支持2.x版本
Doris/SelectDB支持Doris/SelectDB Enterprise 1.2,2.0 版本
阿里云 RocketMQ私有云消息队列3.x
云消息队列 4.x 版本
Iceberg阿里云 ALL-MAPREDUCE EMR-5.17.1 的 Iceberg 1.5.2
阿里云 AnalyticDB PostgreSQL阿里云 AnalyticDB PostgreSQL 6.0 ,7.0
阿里云 Hologres阿里云 Hologres 2.2 版本
ELK(计划下线)支持 6.5.1 版本
GaussDB支持1.4、2.x、3.x 版本
TDSQL PostgreSQL支持5.21.x
KingbaseES支持V8、V9版本
Milvus支持2.5.x

表格 2 DataPipeline 数据融合产品支持数据目的地节点类型与版本


目前DP 支持跳板机部署模式,对于跳板机的部署模型,当前实现有一些限制,支持的节点如下:

序号节点
1Vastbase
2Gbase 8s
3Doris/ SelectDB
4GaussDB
5Dameng
6OceanBase
7Greenplum
8openGauss
9PostgreSQL、新PostgreSQL
10Db2
11Db2 i/AS 400
12Oracle
13MySQL、新MySQL
14GoldenDB
15TDSQL-MySQL
16Polardb
17TiDB
18MogDB
19MS SQLServer
20TDSQL_PostgreSQL
21Hashdata
22Gbase 8c
23Gbase 8a
24StarRocks

其余未声明节点暂不支持跳板机部署模式。

注意跳板机的节点,不支持分片读取。