版本:v2.7
DataPipeline的服务是统一管理还是私有化部署?若是私有化部署若要升级怎么操作?
Q:一般项目使用上DataPipeline的服务是统一管理还是私有化部署?若是私有化部署若要升级怎么操作?
A:DataPipeline 是私有化部署产品,产品部署服务器有外网的情况可以选择在线升级,没有外网可以采用升级包进行升级。
安装部署流程:
(一) 前期准备
- 单机模式:需要开放端口: 80, 5000 (可配置)
- 服务器和数据库:
服务器配置要求和数据库配置要求详见部署要求; - 镜像文件:
Docker和初始化脚本下载链接:
https://download.datapipeline.com/DP_init.tgz
DataPipeline安装脚本下载链接:
https://download.datapipeline.com/DP_single_v2.7.0.tgz
DataPipeline镜像包下载链接:
https://download.datapipeline.com/DP_images_270.tgz
(二) 部署说明
- 系统初始化
Docker和DP产品默认安装到/data下,如有单独磁盘需要挂载,请挂载磁盘到/data后,修改docker.service的docker根目录,再执行初始化脚本。
# tar zxvf DP_init.tgz
# vim centos.sh (ubuntu系统修改ubuntu.sh)
红圈中的路径可根据服务器磁盘大小来修改,比如:执行df -h命令后,发现有一块500G的磁盘单独挂在到/mnt下,那就可以将docker.service红圈中的路径改成/mnt/docker,如果服务器只有一块磁盘,就不需要修改红圈中的路径。
修改完成后,执行初始化脚本
# bash centos.sh (ubuntu系统执行ubuntu.sh)
- Docker和参数验证
1)验证docker是否已正确安装
# docker version
回显如下:
2)验证docker-compose是否已正确安装:
# docker-compose
回显如下:
3)验证系统参数是否修改
# cat /proc/sys/fs/file-max (16G内存以上是否大于等于1610821)
# cat /proc/sys/net/ipv4/ip_forward (查看是否是1,为0需要修改)
# cat /proc/sys/vm/overcommit_memory (查看是否是1,为0需要修改)
# cat /proc/sys/vm/max_map_count (查看是否大于等于262144,低于此值需要修改)
(三) DataPipeline产品安装
- 服务器有外网可直接登录DP镜像库,不需要下载镜像包,执行完第1步后直接跳到第6步。
# docker login registry.datapipeline.com -udatapipeline -pdatapipeline
- 服务器无外网需将DataPipeline产品镜像包下载并上传至服务器
- 镜像文件解压缩:
# tar zxvf DP_images_270.tgz

- 导入镜像:
# ./load_image.sh
- 验证是否已正确导入:
# docker images

- 有外网可以直接wget脚本,无外网需将DataPipeline安装脚本下载并上传至服务器。
- 脚本文件解压缩:
# tar zxvf DP_single_v2.7.0.tgz

- 配置文件修改:
- 编辑 manifest.sh
# cd /root/datapipeline
# vi manifest.sh
1)修改web访问的IP或已经添加DNS解析的域名,例如:(59.110.164.227或域名)
2)修改DP产品根目录位置(如果默认是/data,可以修改为/home或者/app)
3)修改客户唯一描述符,根据公司全拼或者英文命名,例如:(POC填写:suibian-test;生产填写:SUIBIAN-ONLINE)
4)默认服务器为16G内存,所以选用docker-compose_16G.yml配置文件。如果服务器内存为32G,就改成docker-compose_32G.yml。
注:如果配置文件不是放在根目录下,那么需要修改:
export COMPOSE_FILE=/root/datapipeline/singlehost/docker-compose_16G.yml
改为如下:
export COMPOSE_FILE=当前路径/singlehost/docker-compose_16G.yml
- 查看当前路径命令:
# pwd
- 启动服务
# cd singlehost
# ./startall.sh
# docker ps -a (查看本地容器状态)
- 请确保本机80端口开通;如这个端口不可用,需修改 singlehost/docker-compose_16G.yml 中dashboard服务相应端口号;dashboard服务的端口就是web访问时的端口。见下图:

- 通过浏览器输入服务器IP,访问DataPipeline,默认用户名admin,密码123456。如已在配置文件中修改了端口号,需在访问IP后加上dashboard对应的端口号。
输入访问IP后,出现产品登录界面,见下图:

输入用户名和密码进行登录,如可成功进入,说明已部署成功(见下图)。如无法连接,请检查上述部署操作是否正确或联系DataPipeline工程师协助解决。
12)创建任务前,取消schema验证
# docker exec -it schema_registry curl -X PUT -H "Content-Type:application/vnd.schemaregistry.v1+json" --data '{"compatibility": "NONE"}' http://localhost:8081/config