跳到主要内容
版本:v2.7

环境和数据库的部署要求

DataPipeline部署要求

一、部署环境要求​

名称要求备注
服务器数量集群版3台或以上;单机版1台;推荐集群版配置,单机版无法测试性能;
硬件配置cpu至少四核,推荐八核及以上;无
内存至少16G,推荐32G及以上;无
硬盘阿里云高性能云盘同等性能,容量200G及以上,建议使用SSD硬盘;1.所需容量取决于拟测试的同步任务数据量。建议至少准备拟同步任务总数据量*2大小的数据盘;
2.最好用空白硬盘单独挂在到服务器,单独为DataPipeline使用;
3.文件系统为XFS的需要开启ftype,命令如下:mkfs.xfs -n ftype=1 /path/to/your/device(磁盘设备);
操作系统CentOS 7.4 以上;
RHEL 7.4以上;
Ubuntu 16.04及以上;
必须要有yum源或apt-get源;
网络/端口1.部署服务器与数据源及数据目的地的特定端口可达(例如mysql的3306、sqlserver的1433);
2.Web服务器对用户访问终端IP开放80和5000端口;
3.如是集群版,需保证集群服务器之间所有网络端口可达;
实际部署环境的可开放端口如有调整,请联系DataPipeline工程师修改产品配置文件,或根据实际端口调整网络安全策略;

二、数据库配置要求​

1、数据源​

DataPipeline默认会全速进行同步,可能会造成源和目的地,尤其是目的地较大的压力。如果需要对源和目的地进行资源保护,请咨询DataPipeline技术人员修改部署脚本中的限速参数,使之符合业务环境的要求。
       关于数据源和数据目的地的基本配置要求详见下文。

数据源类型版本要求用户权限要求其他要求
MySQL(实时)5.5 、 5.6 、 5.7 、8.0 版本的非只读数据库(当前只支持INNODB引擎,集群架构只支持MHA)相关视图和表的 select 权限,
replication slave,
replication client
1.BINLOG修改为ROW模式:
       MYSQL BINLOG MODE = 'ROW'
       BINLOG_ROW_IMAGE = 'FULL'(此参数在mysql5.6及以上版本需要设置)
2.BINlOG保留时间建议>=72小时 ;
3.不支持只读从库;
查看 BINLOG配置手册
MySQL(定时)5.5 、 5.6 、 5.7 、8.0 版本(只支持INNODB引擎)相关视图和表的 select 权限要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号 (例:SequenceID),更新时间戳 (例: UpdatedAt)
Oracle(实时)-LogminerLOGMINER模式下支持 ORACLE 11.2.0.4单实例非只读数据库、12C的 NON CDB单实例非只读数据库;

| select any transaction,
logmining,
execute on dbms_logmnr_d,
execute on dbms_logmnr,
execute on dbms_flashback,
create session,
resource,
select any dictionary,
flashck any table,
execute_catalog_role,
以及相关视图和表的select权限 | | 1、提供Oracle Logminer;
2、12c以下版本不需要logmining权限;
3、日志补全至少需要开启primary key、all、unique级别的日志级别;
4、Archive LOG保留时间建议>=72小时;
5、不支持Oracle只读实例;
查看 LOGMINER配置手册 | | | Oracle(实时)-Agent | AGENT模式下支持 ORACLE 12c NON CDB单实例非只读数据库、ORACLE 11g单实例非只读数据库, ADG模式下,只支 持基于归档的解析(时延较大);

| alter database add supplemental log data;
alter database add supplemental log data(all,primary key,unique) columns;
create role FZS_role,
grant connect to FZS_role,
grant lock any table to FZS_role,
grant select any table to FZS_role,
grant select any dictionary to FZS_role,
grant alter system to FZS_role,
grant execute on dbms_flashback to FZS_role,
grant FZS_role to FZS,
grant select on v_$locked_object to FZS_role,
grant select on dba_objects to FZS_role,
grant select on v_$database to FZS_role

| | 以上授权可在FZS配置页面上进行 | | | Oracle(定时) | ORACLE 10G、11G、12C版本的 NON CDB数据库 | 相关视图和表的 select 权限 | |        要求需要同步的表拥有增量识别字段,用于同步增量数据。
选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,
如:
更新序列号 (例:SequenceID),更新时间戳 (例: UpdatedAt) | | | SQLServer(实时) | SQLSERVER 2008、2012、2014版本的单实例非只读数据库 | select on table;
view change tracking on table;
view change tracking on schema | | 1、如果default schema为dbo,可以直接授权select和view change tracking权限:
grant select on schema::dbo to user;
grant view change tracking on schema::dbo to user;
2、如果主体模式不是dbo就需要按照表为单位进行view change tracking的授权,比如:
grant view change tracking on object::rpt.表名 to user;
3、SQLServer Change Tracking不支持只读数据库;
查看Change Tracking配置手册 | | | SQLServer(定时) | SQLSERVER 2008、2012、2014版本 | select on schema | | 要求需要同步的表拥有增量识别字段,用于同步增量数据。
选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号 (例:SequenceID),更新时间戳 (例: UpdatedAt) | | | PostgreSQL(实时) | WAL2JSON:POSTGRESQL 9.4、9.5、9.6版本的单实例非只读数据库;
DECODERBUFS:POSTGRESQL 9.6版本的单实例非只读数据库; | PostgreSQL replication角色、PostgreSQL login角色,需要同步的表的select/update权限; | | PostgreSQL-decoderbufs、PostgreSQL-wal2json两种插件满足实时同步,无法支持PostgreSQL RDS | | | PostgreSQL(定时) | POSTGRESQL 9.4、9.5、9.6版本 | 相关视图和表的 select 权限 | | 要求需要同步的表拥有增量识别字段,用于同步增量数据;选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号 (例:SequenceID),更新时间戳 (例: UpdatedAt) | | | FTP | 无 | 登录、访问和写入权限 | | 无 | | | AWS S3 | 无 | 相关视图和表的 select 权限 | | 无 | | | API | 无 | 无 | | 无 | | | Apache Kafka | 0.10.x、0.11.x、1.x.y、2.0.x、2.1.x、2.2.x;  0.9.x 只 支持JSON和String格式 | 无 | | 无 | | | Apache Hive | 1.x.y、2.x.y LDAP认证模式只适配1.2.y(支持的格式:PARQUET、CSV) | 需要hive home 目录的读写权限 | | 无 | | | 阿里云OSS | 无 | 无 | | 无 | |

2、数据目的地​

数据目的地类型版本要求用户权限要求其他要求
OracleORACLE 10G、11G、12C版本的NON CDB数据库;create session,
resource,
select on v$session
授予SELECT ON V_$SESSION权限用于处理死锁导致的任务中断;
MySQLMySQL  5.5 或5.6或5.7(只支持InnoDB引擎)select/create object/insert/update/delete无
SQLServerSQLServer 2008、2012、2014版本insert/update/delete/alter/exec/create/references/select on schema/alter any connection授予ALTER ANY CONNECTION权限用于处理死锁导致的任务中断;
AWS RedShift无无无
Apache Kafka0.8.x、0.9.x、0.10.x、0.11.x、1.x,y、2.0.x、 2.1.x、2.2.x无无
FTP无登录、访问和写入权限无
Apache Hive1.x.y、2.x.y(支持的格式:PARQUET、CSV、LZO、ORC、AVRO)需要hive home 目录的读写权限;不同版本兼容情况未知,需要注意不同版本兼容问题;        
GreenPlum4.x.y、5.x.y、6.x.yselect/create object/insert/update/delete无
Aliyun AnalyticDB for PostgreSQLHybridDB 4.3版本select/create object/insert/update/delete需要阿里云后台调整max_stack_depth>=4MB
TIDB2.x.yselect/create object/insert/update/delete无
HBase2.1.x写入表的最大控制权限(包括读和写)无
HDFS2.6.x、2.7.x对应目录的读写权限无

北京逐风科技有限公司 | www.datapipeline.com