版本:v4.24
1.2 支持的数据源与数据目的地
使用 DataPipeline 产品之前,您需确定当前版本支持的数据源与数据目的地满足您的需求(本文档针对5.0及后续版本)。
下表列出了 DataPipeline 支持的可以作为数据源的数据节点类型及版本。
作为数据源的数据节点类型及版本
| 数据源节点类型 | 版本说明 |
|---|---|
| Oracle | + JDBC 读取模式支持 10G、11G、12C、19C 非多租户版本; + Agent 读取模式支持 11G、12C、19C,灾备架构只支持 Oracle ADG,不支持只读库; + LogMiner 读取模式支持 11.2.0.4 及 12C 非多租户版本; + 不支持 Oracle RAC,不支持灾备架构从库,不支持 Oracle 只读库 |
| MySQL | + JDBC 读取模式支持 5.5、5.6、5.7、8.0 版本; + Binlog 读取模式支持 5.5、5.6、5.7、8.0 版本 |
| MS SQL Server | + JDBC 读取模式支持 2008、2012、2014、2016、2017、2019 版本; + Change Tracking 读取模式支持 2008、2012、2014、2016、2017、2019 版本的单实例非只读数据库; + Change Data Capture 读取模式支持 2008、2012、2014、2016、2017、2019 版本,支持 Always on 备库 |
| PostgreSQL | + JDBC 读取模式支持 9.4、9.5、9.6、10.23、11.22、12.20、13.23、14.20 版本; + wal2json 读取模式支持 9.4、9.5、9.6、10.4、10.23、11.22、12.20、13.23、14.20 版本,不支持分布式架构,不支持只读库 |
| Kafka | + 支持Apache Kafka以下版本 0.8.x、0.9.x、0.10.x、0.11.x、1.x.y、2.x.y、3.0.x、3.1.x、3.2.x、3.3.x、3.4.x、3.8.1、3.9.2、4.0.x + 支持 MRS(3.2.0-LTS.1 )版本 kafka(2.11-2.4.0) |
| IBM Db2 | + Agent 读取模式支持通过 11.4 版本的 IBM InfoSphere Data Replication 采集 Db2 数据 + JDBC 读取模式支持 9.7、10.1、10.5、11.1 版本 |
| HashData | + JDBC 读取模式支持 2.5.8 版本 |
| MongoDB | + Java Drivers 连接模式、Change Streams 读取模式支持 3.6、4.2 版本 |
| OceanBase | + JDBC 读取、OB_Log_Reader 读取模式支持 2.x、3.2、4.2、4.3.5.4 版本 |
| TiDB | JDBC 读取模式支持 2.x、3.x、4.x(TiCDC 4.0.6)、5.x(TiCDC 5.x)、6.x(TiCDC 6.x) |
| TeleDB | + 支持 1.x 版本 - 数据源 TeleDB 定时模式支持 MySQL 官方版 5.6、5.7、8.0; - 数据源 TeleDB 实时模式 - Binlog 支持 MySQL 官方版 5.6、5.7、8.0,不支持只读库; |
| AWS RDS for PostgreSQL | + JDBC 读取模式支持 9.5.x、9.6.x、10.x、11.x、12.x、13.x 版本; + wal2json 读取模式支持 9.5.7 及以上版本,不支持分布式架构,不支持只读库 |
| Maxcompute | + 支持 MaxCompute 公有云 2.0 、私有云(ODPS)0.30 版本,暂不支持外表 |
| 达梦 | + LogMiner 读取、JDBC 读取、Agent读取模式支持 DaMeng 8.1.3 版本; |
| FTP | + 支持 3.0.2 版本,支持读取 CSV、Json 类型文件 |
| SFTP | + 支持 SFTP-6 版本,支持读取 CSV、Json 类型文件 |
| HDFS | 支持 2.6.x、2.7.x、3.1.x、3.3.x 支持基于MRS 3.2.0-LTS.1 平台的HDFS 3.3.1 |
| 阿里云 OSS | + 支持 Aliyun OSS |
| Hive | + 支持基于 CDH 5.12.2 平台的 Hive 1.1.0,基于 CDH 6.1.1 平台的 Hive 1.x.y、2.x.y,基于 CDH 7.1.7 平台的 Hive 3.1.3 + 支持基于 BMR 2.1.0 平台的 Hive 3.1.0 + 支持基于 HDP 3.1.5 平台的 Hive 3.1.0 + 支持基于MRS 3.2.0-LTS.1 平台的Hive 3.1.0 |
| Inceptor | + 支持 Inceptor 6.2.2-final |
| API | 暂无要求 |
| Elasticsearch | 支持 6.x、7.0-7.17 + Elasticsearch 7.0-7.17 - 推荐版本为7.12.1以上 |
| 自定义 | 暂无要求 |
| 偶数 DB(4.17版本下线) | 支持 4.8.x.x |
| GaussDB (旧称为GaussDB(for openGauss)) | + 逻辑复制模式、JDBC读取模式支持1.4、2.0、2.3、3.207 版本 |
| PolarDB-X | + 支持 1.0 版本 |
| GoldenDB | + 5.2.01、5.2.02、5.2.03、6.1.01、6.1.02 集中式、分布式支持 BINLOG、JDBC读取模式 + 6.1.03 版本集中式、分布式支持 GoldenDB CDC、JDBC 读取模式 |
| DB2 for i (AS/400) | + JDBC读取模式支持读取 7.1 版本DB2 for i (AS/400); + IBM InfoSphere Data Replication读取模式支持 11.4 版本采集7.1 版本DB2 for i (AS/400)数据 + AS/400 Journal 读取模式,读取DB2 for i (AS/400);仅支持增量读取 |
| ArgoDB | + JDBC 读取支持 5.2、6.0 版本 |
| Vastbase | + JDBC 读取、逻辑复制读取模式支持 Vastbase G100 V2.2.10 版本 |
| Gbase 8c | + JDBC 读取、逻辑复制读取模式支持 V5 3.0.0 版本 |
| Gbase 8s | + JDBC 读取、Gbase 8s CDC 读取支持 Gbase 8s 8.7、8.8 版本; + Gbase 8s 采集代理支持 Gbase 8s 8.7 版本 |
| Gbase 8a | + JDBC 读取支持 Gbase 8a 9.5.3 |
| ClickHouse | + JDBC 读取支持 ClickHouse v20、v22 版本 |
| MogDB | + JDBC 读取、逻辑复制读取模式支持 5.0.x |
| Doris/SelectDB | + JDBC 读取支持Doris/SelectDB Enterprise 1.2.8、2.0.10、2.1.10版本 |
| TDSQL MySQL | + JDBC 读取、Binlog 读取模式支持 10.3.19.x,10.3.20.x,10.3.21.x,10.3.22.x |
| ELK(计划下线) | + JDBC 读取支持 6.5.1 版本 |
| StarRocks | + 支持 StarRocks 2.5.9、StarRocks 3.1.2、StarRocks 3.3.14 版本 |
| TDSQL PostgreSQL | + JDBC 读取、wal2json 读取模式支持 5.21.8 |
| KingbaseES | + JDBC 读取、decoderbufs 读取支持V8、V9版本 |
表格 1 DataPipeline 数据融合产品支持数据源节点类型与版本
下表列出了 DataPipeline 支持的可以作为数据目的地的数据节点类型及版本。
作为数据目的地的数据节点类型及版本
| 数据目的地节点类型 | 支持版本 |
|---|---|
| Oracle | + JDBC 写入模式支持 10G、11G、12C、19C 非多租户版本 |
| MySQL | + JDBC 写入模式支持官方版 5.5、5.6、5.7、8.0 版本 |
| MS SQL Server | + JDBC 写入模式支持 2008、2012、2014、2016、2017、2019 |
| PostgreSQL | + JDBC 写入模式支持 9.4、9.5、9.6、10.23、11.22、12.20、13.23、14.20 版本 |
| Kafka | 支持Apache Kafka以下版本 0.8.x、0.9.x、0.10.x、0.11.x、1.x.y、2.x.y、3.0.x、3.1.x、3.2.x、3.3.x、3.4.x、3.8.1、3.9.2、4.0.x 支持基于3.2.0-LTS.1 MRS 平台的kafka 2.11-2.4.0 |
| IBM Db2 | + JDBC 写入模式支持 9.7、10.1、10.5、11.1 版本 |
| Hashdata | + JDBC COPY 写入模式支持2.5.8 |
| Greenplum | 支持 4.x.y、5.x.y、6.x.y 版本 |
| MongoDB | + JDBC 写入模式支持 3.6、4.2 版本 |
| OceanBase | + JDBC 写入模式支持 2.x、3.2、4.2 版本 |
| TiDB | 支持 2.x、3.x、4.x、5.x、6.x 版本; |
| Open Gauss | + JDBC 写入模式支持 opengauss 2.1.0、3.1.0 版本 |
| GaussDB DWS | + JDBC 写入模式支持 GaussDB 200 8.1.1 版本 |
| TelePG | + TelePG JDBC 写入模式 支持 PostgreSQL 官方版 9.6.24、10.23、11.22、12.22 版本 |
| SequoiaDB | + JDBC 写入模式支持 2.x、3.x 版本 |
| Amazon Redshift | + 支持 Amazon Redshift 版本 |
| AWS RDS for PostgreSQL | + JDBC 写入模式支持 9.5.x、9.6.x、10.x、11.x、12.x、13.x 版本 |
| Redis | + JDBC 写入模式支持 3.0、3.2、4.0、5.0、6.0、7.0 版本 |
| 达梦 | + JDBC 写入支持 DaMeng 8.1.3 版本; |
| Maxcompute | + 支持 MaxCompute 公有云 2.0 、私有云(ODPS)0.30 版本,暂不支持外表 |
| FTP | + 支持 3.0.2 支持写入 CSV、Json 类型文件 |
| SFTP | + 支持 SFTP-6 写入 CSV、Json 类型文件 |
| HDFS | 支持 2.6.x、2.7.x、3.1.x、3.3.x 支持基于MRS 3.2.0-LTS.1 平台的HDFS 3.3.1 |
| 阿里云 OSS | + 支持 Aliyun OSS |
| Hive | + 支持基于 CDH 5.12.2 平台的 Hive 1.1.0,基于 CDH 6.1.1 平台的 Hive 1.x.y、2.x.y,基于 CDH 7.1.7 平台的 Hive 3.1.3 + 支持基于 BMR 2.1.0 平台的 Hive 3.1.0 + 支持基于 HDP 3.1.5 平台的 Hive 3.1.0 + 支持基于MRS 3.2.0-LTS.1 平台的Hive 3.1.0 |
| Inceptor | + 支持 Inceptor 6.2.2-final |
| HBASE | + 支持 1.2.0、HBASE 客户端写入模式支持2.1.0 (cdh6.1.1) |
| Hudi | + 支持 CDH平台 Hudi 0.9.0、Hudi 0.10.0;MRS平台 Hudi 0.11.0 |
| Elasticsearch | 支持 6.x、7.0-7.17 + Elasticsearch 7.0-7.17 - 推荐版本为7.12.1以上 |
| Hyperbase | + 支持 TDH-6.2.2 版本 |
| 自定义 | 暂无要求 |
| 偶数 DB(4.17版本下线) | 支持 4.8.x.x |
| ClickHouse | + JDBC 写入支持 ClickHouse v20、v22 版本 |
| Datahub | + 支持云环境 Datahub 最新版本 |
| ArgoDB | + 文件写入、API写入支持 5.2、6.0 版本; |
| TDSQL MySQL | + JDBC 写入支持产品版本 10.3.19.x、10.3.20.x、10.3.21.x、10.3.22.x + 内核版本 MYSQL 5.7 和 MYSQL 8.0 + 支持分布式部署和集中式部署 |
| StarRocks | + StarRocks Stream Load 写入模式支持 StarRocks 2.5.9、StarRocks 3.1.2、StarRocks 3.3.14 版本 |
| Paimon | + Paimon JAVA Client 写入支持 Paimon 0.5.0-incubating、Paimon 1.0.1 版本,并支持写入 Paimon 1.0.1 版本 Juice FS 文件系统 |
| Gbase 8a | + JDBC 写入、文件写入支持 Gbase 8a 9.5.3 |
| Gbase 8c | + JDBC 写入支持 V5 3.0.0 版本; |
| Gbase 8s | + JDBC 写入支持 Gbase 8s 8.8 版本 |
| PolarDB-X | + 支持 1.0 版本 |
| MogDB | + JDBC 写入支持5.0.x 版本 |
| AnalyticDB for MySQL | + 支持AnalyticDB for MySQL 2.0版本 |
| Doris/SelectDB | + JDBC 写入、Stream Load写入支持Doris/SelectDB Enterprise 1.2.8、2.0.10、2.1.10版本 |
| 阿里云 RocketMQ | + 私有云消息队列RocketMQ 3.16.2 + 公有云消息队列 5.0 版本 |
| Iceberg | + 支持阿里云 ALL-MAPREDUCE EMR-5.17.1 的 Iceberg 1.5.2 |
| 阿里云 AnalyticDB PostgreSQL | + 支持阿里云 AnalyticDB PostgreSQL 6.0 ,7.0 |
| 阿里云 Hologres | + 支持阿里云 Hologres 2.2 版本 |
| ELK(计划下线) | + JDBC COPY 写入支持 6.5.1 版本 |
| GaussDB | + JDBC写入模式支持1.4、2.0、2.3、3.207 版本 |
| TDSQL PostgreSQL | + JDBC 写入支持 5.21.8 |
| KingbaseES | + JDBC 写入持V8、V9版本 |
| Milvus | + SDK 写入支持2.5.10 |
| GoldenDB | + 6.1.02 版本集中式、分布式支持 JDBC 写入 |
表格 2 DataPipeline 数据融合产品支持数据目的地节点类型与版本
跳板机部署支持节点
目前DP支持跳板机部署模式,对于跳板机的部署模型,当前实现有一些限制,支持的节点如下:
| 序号 | 节点 |
|---|---|
| 1 | Vastbase |
| 2 | Gbase 8s |
| 3 | Doris/ SelectDB |
| 4 | GaussDB |
| 5 | Dameng |
| 6 | OceanBase |
| 7 | Greenplum |
| 8 | openGauss |
| 9 | PostgreSQL、新PostgreSQL |
| 10 | Db2 |
| 11 | Db2 i/AS 400 |
| 12 | Oracle |
| 13 | MySQL、新MySQL |
| 14 | GoldenDB |
| 15 | TDSQL-MySQL |
| 16 | Polardb |
| 17 | TiDB |
| 18 | MogDB |
| 19 | MS SQLServer |
| 20 | TDSQL_PostgreSQL |
| 21 | Hashdata |
| 22 | Gbase 8c |
| 23 | Gbase 8a |
| 24 | StarRocks |
信息
其余未声明节点暂不支持跳板机部署模式。
注意跳板机的节点,不支持分片读取。