环境和数据库的部署要求
DataPipeline部署要求
一、部署环境要求
| 名称 | 要求 | 备注 | |
|---|---|---|---|
| 服务器数量 | 集群版3台或以上;单机版1台; | 推荐集群版配置,单机版无法测试性能; | |
| 硬件配置 | cpu | 至少四核,推荐八核及以上; | 无 |
| 内存 | 至少16G,推荐32G及以上; | 无 | |
| 硬盘 | 阿里云高性能云盘同等性能,容量200G及以上,建议使用SSD硬盘; | 1.所需容量取决于拟测试的同步任务数据量。建议至少准备拟同步任务总数据量*2大小的数据盘; 2.最好用空白硬盘单独挂在到服务器,单独为DataPipeline使用; 3.文件系统为XFS的需要开启ftype,命令如下:mkfs.xfs -n ftype=1 /path/to/your/device(磁盘设备); | |
| 操作系统 | CentOS 7.4 以上; RHEL 7.4以上; Ubuntu 16.04及以上; | 必须要有yum源或apt-get源; | |
| 网络/端口 | 1.部署服务器与数据源及数据目的地的特定端口可达(例如mysql的3306、sqlserver的1433); 2.Web服务器对用户访问终端IP开放80和5000端口; 3.如是集群版,需保证集群服务器之间所有网络端口可达; | 实际部署环境的可开放端口如有调整,请联系DataPipeline工程师修改产品配置文件,或根据实际端口调整网络安全策略; |
二、数据库配置要求
1、数据源
DataPipeline默认会全速进行同步,可能会造成源和目的地,尤其是目的地较大的压力。如果需要对源和目的地进行资源保护,请咨询DataPipeline技术人员修改部署脚本中的限速参数,使之符合业务环境的要求。
关于数据源和数据目的地的基本配置要求详见下文。
| 数据源类型 | 版本要求 | 用户权限要求 | 其他要求 | ||
|---|---|---|---|---|---|
| MySQL(实时) | 5.5 、 5.6 、 5.7 、8.0 版本的非只读数据库(当前只支持INNODB引擎,集群架构只支持MHA) | 相关视图和表的 select 权限, replication slave, replication client | 1.BINLOG修改为ROW模式: MYSQL BINLOG MODE = 'ROW' BINLOG_ROW_IMAGE = 'FULL'(此参数在mysql5.6及以上版本需要设置) 2.BINlOG保留时间建议>=72小时 ; 3.不支持只读从库; 查看 BINLOG配置手册 | ||
| MySQL(定时) | 5.5 、 5.6 、 5.7 、8.0 版本(只支持INNODB引擎) | 相关视图和表的 select 权限 | 要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号 (例:SequenceID),更新时间戳 (例: UpdatedAt) | ||
| Oracle(实时)-Logminer | LOGMINER模式下支持 ORACLE 11.2.0.4单实例非只读数据库、12C的 NON CDB单实例非只读数据库; |
| select any transaction,
logmining,
execute on dbms_logmnr_d,
execute on dbms_logmnr,
execute on dbms_flashback,
create session,
resource,
select any dictionary,
flashck any table,
execute_catalog_role,
以及相关视图和表的select权限 | | 1、提供Oracle Logminer;
2、12c以下版本不需要logmining权限;
3、日志补全至少需要开启primary key、all、unique级别的日志级别;
4、Archive LOG保留时间建议>=72小时;
5、不支持Oracle只读实例;
查看 LOGMINER配置手册 | |
| Oracle(实时)-Agent | AGENT模式下支持 ORACLE 12c NON CDB单实例非只读数据库、ORACLE 11g单实例非只读数据库, ADG模式下,只支 持基于归档的解析(时延较大);
| alter database add supplemental log data;
alter database add supplemental log data(all,primary key,unique) columns;
create role FZS_role,
grant connect to FZS_role,
grant lock any table to FZS_role,
grant select any table to FZS_role,
grant select any dictionary to FZS_role,
grant alter system to FZS_role,
grant execute on dbms_flashback to FZS_role,
grant FZS_role to FZS,
grant select on v_$locked_object to FZS_role,
grant select on dba_objects to FZS_role,
grant select on v_$database to FZS_role
| | 以上授权可在FZS配置页面上进行 | |
| Oracle(定时) | ORACLE 10G、11G、12C版本的 NON CDB数据库 | 相关视图和表的 select 权限 | | 要求需要同步的表拥有增量识别字段,用于同步增量数据。
选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,
如:
更新序列号 (例:SequenceID),更新时间戳 (例: UpdatedAt) | |
| SQLServer(实时) | SQLSERVER 2008、2012、2014版本的单实例非只读数据库 | select on table;
view change tracking on table;
view change tracking on schema | | 1、如果default schema为dbo,可以直接授权select和view change tracking权限:
grant select on schema::dbo to user;
grant view change tracking on schema::dbo to user;
2、如果主体模式不是dbo就需要按照表为单位进行view change tracking的授权,比如:
grant view change tracking on object::rpt.表名 to user;
3、SQLServer Change Tracking不支持只读数据库;
查看Change Tracking配置手册 | |
| SQLServer(定时) | SQLSERVER 2008、2012、2014版本 | select on schema | | 要求需要同步的表拥有增量识别字段,用于同步增量数据。
选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号 (例:SequenceID),更新时间戳 (例: UpdatedAt) | |
| PostgreSQL(实时) | WAL2JSON:POSTGRESQL 9.4、9.5、9.6版本的单实例非只读数据库;
DECODERBUFS:POSTGRESQL 9.6版本的单实例非只读数据库; | PostgreSQL replication角色、PostgreSQL login角色,需要同步的表的select/update权限; | | PostgreSQL-decoderbufs、PostgreSQL-wal2json两种插件满足实时同步,无法支持PostgreSQL RDS | |
| PostgreSQL(定时) | POSTGRESQL 9.4、9.5、9.6版本 | 相关视图和表的 select 权限 | | 要求需要同步的表拥有增量识别字段,用于同步增量数据;选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号 (例:SequenceID),更新时间戳 (例: UpdatedAt) | |
| FTP | 无 | 登录、访问和写入权限 | | 无 | |
| AWS S3 | 无 | 相关视图和表的 select 权限 | | 无 | |
| API | 无 | 无 | | 无 | |
| Apache Kafka | 0.10.x、0.11.x、1.x.y、2.0.x、2.1.x、2.2.x; 0.9.x 只 支持JSON和String格式 | 无 | | 无 | |
| Apache Hive | 1.x.y、2.x.y LDAP认证模式只适配1.2.y(支持的格式:PARQUET、CSV) | 需要hive home 目录的读写权限 | | 无 | |
| 阿里云OSS | 无 | 无 | | 无 | |
2、数据目的地
| 数据目的地类型 | 版本要求 | 用户权限要求 | 其他要求 | ||
|---|---|---|---|---|---|
| Oracle | ORACLE 10G、11G、12C版本的NON CDB数据库; | create session, resource, select on v$session | 授予SELECT ON V_$SESSION权限用于处理死锁导致的任务中断; | ||
| MySQL | MySQL 5.5 或5.6或5.7(只支持InnoDB引擎) | select/create object/insert/update/delete | 无 | ||
| SQLServer | SQLServer 2008、2012、2014版本 | insert/update/delete/alter/exec/create/references/select on schema/alter any connection | 授予ALTER ANY CONNECTION权限用于处理死锁导致的任务中断; | ||
| AWS RedShift | 无 | 无 | 无 | ||
| Apache Kafka | 0.8.x、0.9.x、0.10.x、0.11.x、1.x,y、2.0.x、 2.1.x、2.2.x | 无 | 无 | ||
| FTP | 无 | 登录、访问和写入权限 | 无 | ||
| Apache Hive | 1.x.y、2.x.y(支持的格式:PARQUET、CSV、LZO、ORC、AVRO) | 需要hive home 目录的读写权限; | 不同版本兼容情况未知,需要注意不同版本兼容问题; | ||
| GreenPlum | 4.x.y、5.x.y、6.x.y | select/create object/insert/update/delete | 无 | ||
| Aliyun AnalyticDB for PostgreSQL | HybridDB 4.3版本 | select/create object/insert/update/delete | 需要阿里云后台调整max_stack_depth>=4MB | ||
| TIDB | 2.x.y | select/create object/insert/update/delete | 无 | ||
| HBase | 2.1.x | 写入表的最大控制权限(包括读和写) | 无 | ||
| HDFS | 2.6.x、2.7.x | 对应目录的读写权限 | 无 |
北京逐风科技有限公司 | www.datapipeline.com