版本:v5.1
1.2 支持的数据源与数据目的地
使用 DataPipeline 产品之前,您需确定当前版本支持的数据源与数据目的地满足您的需求(本文档针对5.0及后续版本)。
下表列出了 DataPipeline 支持的可以作为数据源的数据节点类型及版本。
作为数据源的数据节点类型及版本
| 数据源节点类型 | 版本说明 |
|---|---|
| Oracle | JDBC 读取模式支持 10G、11G、12C、19C 非多租户版本;Agent 读取模式支持 11G、12C、19C,灾备架构只支持 Oracle ADG,不支持只读库;LogMiner 读取模式支持 11.2.0.4 及 12C 非多租户版本,不支持 Oracle RAC,不支持灾备架构从库,不支持 Oracle 只读库 |
| MySQL | JDBC 读取模式支持 5.5、5.6、5.7、8.0 版本;Binlog 读取模式支持 5.5、5.6、5.7、8.0 版本 |
| MS SQL Server | JDBC 读取模式支持 2008、2012、2014、2016、2017、2019 版本;Change Tracking 读取模式支持 2008、2012、2014、2016、2017、2019 版本的单实例非只读数据库;Change Data Capture 读取模式支持 2008、2012、2014、2016、2017、2019 版本,支持 Always on 备库 |
| PostgreSQL | JDBC 读取模式支持 9.4、9.5、9.6、10.x、11.x、12.x、13.x、14.x 版本;wal2json 读取模式支持 9.4、9.5、9.6、10.4、10.x、11.x、12.x、13.x、14.x 版本,不支持分布式架构,不支持只读库 |
| Kafka | 支持Apache Kafka以下版本 0.8.x、0.9.x、0.10.x、0.11.x、1.x.y、2.x.y、3.0.x、3.1.x、3.2.x、3.3.x、3.4.x 支持 MRS(3.2.0-LTS.1 )版本 kafka(2.11-2.4.0) |
| IBM Db2 | Agent 读取模式支持通过 11.4 版本的 IBM InfoSphere Data Replication 采集 Db2 数据 JDBC 读取模式支持 9.x、10.x、11.x 版本 |
| HashData | JDBC 读取模式支持 2.x 版本 |
| MongoDB | 支持 3.6、4.2 版本 |
| OceanBase | 支持 2.x、3.x、4.x 版本 |
| TiDB | JDBC 读取模式支持 2.x、3.x、4.x(TiCDC 4.0.6)、5.x(TiCDC 5.x)、6.x(TiCDC 6.x) |
| TeleDB | 支持 1.x 版本 |
| AWS RDS for PostgreSQL | JDBC 读取模式支持 9.5.x、9.6.x、10.x、11.x、12.x、13.x 版本;wal2json 读取模式支持 9.5.7 及以上版本,不支持分布式架构,不支持只读库 |
| Maxcompute | 支持 MaxCompute 公有云 2.0 、私有云(ODPS)0.30 版本,暂不支持外表 |
| 达梦 | 支持 DM8 版本 |
| FTP | 支持 3.0.2 版本,支持读取 CSV、Json 类型文件 |
| SFTP | 支持 SFTP-6 版本,支持读取 CSV、Json 类型文件 |
| HDFS | 支持 2.6.x、2.7.x、3.1.x、3.3.x 支持基于MRS 3.2.0-LTS.1 平台的HDFS 3.3.1 |
| 阿里云 OSS | 支持 Aliyun OSS |
| Hive | 支持基于 CDH 5.12.2 平台的 Hive 1.1.0,基于 CDH 6.1.1 平台的 Hive 1.x.y、2.x.y,基于 CDH 7.1.7 平台的 Hive 3.1.3 支持基于 BMR 2.1.0 平台的 Hive 3.1.0 支持基于 HDP 3.1.5 平台的 Hive 3.1.0 支持基于MRS 3.2.0-LTS.1 平台的Hive 3.1.0 |
| Inceptor | 支持 Inceptor 6.2.2-final |
| API | 暂无要求 |
| Elasticsearch | 支持 6.x、7.x 版本 |
| 自定义 | 暂无要求 |
| 偶数 DB(4.17版本下线) | 支持 4.8.x.x |
| GaussDB (旧称为GaussDB(for openGauss)) | 支持1.4、2.x、3.x 版本 |
| PolarDB-X | 支持 1.0 版本 |
| GoldenDB | 5.2.01、5.2.02、5.2.03、6.1.01、6.1.02 集中式、分布式支持 BINLOG、JDBC读取模式 6.1.03 版本集中式、分布式支持 GoldenDB CDC、JDBC 读取模式 |
| DB2 for i (AS/400) | JDBC读取模式支持读取 7.1 版本DB2 for i (AS/400); IBM InfoSphere Data Replication读取模式支持 11.4 版本采集7.1 版本DB2 for i (AS/400)数据 AS/400 Journal 读取模式,读取DB2 for i (AS/400);仅支持增量读取 |
| ArgoDB | 支持 5.2、6.0 版本 |
| Vastbase | 支持 Vastbase G100 V2.2.10 版本 |
| Gbase 8c | 支持 V5 3.0.0 版本 |
| Gbase 8s | 支持 8.7、8.8 版本 |
| Gbase 8a | 支持 Gbase 8a 9.5.x |
| ClickHouse | 支持 20.x、22.x 版本 |
| MogDB | 支持 5.0.x |
| Doris/SelectDB | 支持Doris/SelectDB Enterprise 1.2、2.0、2.1.10版本 |
| TDSQL MySQL | 支持10.3.19.x,10.3.20.x,10.3.21.x,10.3.22.x |
| ELK(计划下线) | 支持 6.5.1 版本 |
| StarRocks | 支持 StarRocks 2.5、3.1.x、3.3.x 版本 |
| TDSQL PostgreSQL | 支持5.21.x |
| KingbaseES | 支持V8、V9版本 |
表格 1 DataPipeline 数据融合产品支持数据源节点类型与版本
下表列出了 DataPipeline 支持的可以作为数据目的地的数据节点类型及版本。
作为数据目的地的数据节点类型及版本
| 数据目的地节点类型 | 支持版本 |
|---|---|
| Oracle | 支持 10G、11G、12C、19C 非多租户版本 |
| MySQL | 支持官方版 5.5、5.6、5.7、8.0 版本 |
| MS SQL Server | 支持 2008、2012、2014、2016、2017、2019 |
| PostgreSQL | 支持 9.4、9.5、9.6、10.x、11.x、12.x、13.x、14.x版本 |
| Kafka | 支持Apache Kafka以下版本 0.8.x、0.9.x、0.10.x、0.11.x、1.x.y、2.x.y、3.0.x、3.1.x、3.2.x、3.3.x、3.4.x 支持基于3.2.0-LTS.1 MRS 平台的kafka 2.11-2.4.0 |
| IBM Db2 | 支持 9.x、10.x、11.x 版本 |
| Hashdata | JDBC 写入模式支持 2.x 版本 |
| Greenplum | 支持 4.x.y、5.x.y、6.x.y 版本 |
| MongoDB | 支持 3.6、4.2 版本 |
| OceanBase | 支持 2.x、3.x、4.x 版本 |
| TiDB | 支持 2.x、3.x、4.x、5.x、6.x 版本; |
| Open Gauss | 支持 1.x.x、2.x.x 版本 |
| GaussDB DWS | 支持 GaussDB 200 8.1.1 版本 |
| TelePG | 支持 1.x 版本 |
| SequoiaDB | 支持 2.x、3.x、5.x 版本 |
| Amazon Redshift | 支持 latest 版本 |
| AWS RDS for PostgreSQL | 支持 9.5.x、9.6.x、10.x、11.x、12.x、13.x 版本 |
| Redis | 支持 2.4、2.6、2.8、3.0、3.2、4.0、5.0、6.0 版本 |
| 达梦 | 支持 DM8 版本 |
| Maxcompute | 支持 MaxCompute 公有云 2.0 、私有云(ODPS)0.30 版本 |
| FTP | 支持 3.0.2 支持写入 CSV、Json 类型文件 |
| SFTP | 支持 SFTP-6 写入 CSV、Json 类型文件 |
| HDFS | 支持 2.6.x、2.7.x、3.1.x、3.3.x 支持基于MRS 3.2.0-LTS.1 平台的HDFS 3.3.1 |
| 阿里云 OSS | 支持 Aliyun OSS |
| Hive | 支持基于 CDH 5.12.2 平台的 Hive 1.1.0,基于 CDH 6.1.1 平台的 Hive 1.x.y、2.x.y,基于 CDH 7.1.7 平台的 Hive 3.1.3 支持基于 BMR 2.1.0 平台的 Hive 3.1.0 支持基于 HDP 3.1.5 平台的 Hive 3.1.0 支持基于MRS 3.2.0-LTS.1 平台的Hive 3.1.0 |
| Inceptor | 支持 transwary-6.2.2-final |
| HBASE | 支持 1.x、2.x(cdh6.1.1) |
| Hudi | 支持 CDH 平台 Hudi 0.9.0、0.10.0 版本 |
| Elasticsearch | 支持 6.x、7.x 版本 |
| Hyperbase | 支持 TDH-6.x.y 版本 |
| 自定义 | 暂无要求 |
| 偶数 DB(4.17版本下线) | 支持 4.8.x.x |
| ClickHouse | 支持 20.x、22.x 版本 |
| Datahub | 支持云环境 Datahub 最新版本 |
| ArgoDB | 支持 5.2、6.0 版本 |
| TDSQL MySQL | 支持 TDSQL MYSQL 产品版本支持10.3.19.x,10.3.20.x,10.3.21.x,10.3.22.x,内核版本 MYSQL 5.7 和 MYSQL 8.0,支持分布式部署和集中式部署 |
| StarRocks | 支持 StarRocks 2.5、3.1.x、3.3.x 版本 |
| Paimon | 支持 Paimon 0.5.0-incubaing、Paimon 1.0.1(HDFS文件系统以及JuiceFS文件系统) |
| Gbase 8a | 支持 Gbase 8a 9.5.x |
| Gbase 8c | 支持 Gbase 8c V5_3.0.0 |
| PolarDB-X | 支持 1.0 版本 |
| MogDB | 支持5.0.x 版本 |
| AnalyticDB for MySQL | 支持2.x版本 |
| Doris/SelectDB | 支持Doris/SelectDB Enterprise 1.2、2.0、2.1.10 版本 |
| 阿里云 RocketMQ | 私有云消息队列3.x 云消息队列 4.x 版本 |
| Iceberg | 阿里云 ALL-MAPREDUCE EMR-5.17.1 的 Iceberg 1.5.2 |
| 阿里云 AnalyticDB PostgreSQL | 阿里云 AnalyticDB PostgreSQL 6.0 ,7.0 |
| 阿里云 Hologres | 阿里云 Hologres 2.2 版本 |
| ELK(计划下线) | 支持 6.5.1 版本 |
| GaussDB | 支持1.4、2.x、3.x 版本 |
| TDSQL PostgreSQL | 支持5.21.x |
| KingbaseES | 支持V8、V9版本 |
| Milvus | 支持2.5.x |
| Snowflake | 支持Snowflake云数仓 |
表格 2 DataPipeline 数据融合产品支持数据目的地节点类型与版本
跳板机部署支持节点
目前DP支持跳板机部署模式,对于跳板机的部署模型,当前实现有一些限制,支持的节点如下:
| 序号 | 节点 |
|---|---|
| 1 | Vastbase |
| 2 | Gbase 8s |
| 3 | Doris/ SelectDB |
| 4 | GaussDB |
| 5 | Dameng |
| 6 | OceanBase |
| 7 | Greenplum |
| 8 | openGauss |
| 9 | PostgreSQL、新PostgreSQL |
| 10 | Db2 |
| 11 | Db2 i/AS 400 |
| 12 | Oracle |
| 13 | MySQL、新MySQL |
| 14 | GoldenDB |
| 15 | TDSQL-MySQL |
| 16 | Polardb |
| 17 | TiDB |
| 18 | MogDB |
| 19 | MS SQLServer |
| 20 | TDSQL_PostgreSQL |
| 21 | Hashdata |
| 22 | Gbase 8c |
| 23 | Gbase 8a |
| 24 | StarRocks |
信息
其余未声明节点暂不支持跳板机部署模式。
注意跳板机的节点,不支持分片读取。