跳到主要内容
版本:v2.7

DataPipeline的服务是统一管理还是私有化部署?若是私有化部署若要升级怎么操作?

Q:一般项目使用上DataPipeline的服务是统一管理还是私有化部署?若是私有化部署若要升级怎么操作?​

A:DataPipeline 是私有化部署产品,产品部署服务器有外网的情况可以选择在线升级,没有外网可以采用升级包进行升级。

安装部署流程:​

(一) 前期准备​

(二) 部署说明​

  1. 系统初始化
    Docker和DP产品默认安装到/data下,如有单独磁盘需要挂载,请挂载磁盘到/data后,修改docker.service的docker根目录,再执行初始化脚本。
# tar zxvf DP_init.tgz
# vim centos.sh (ubuntu系统修改ubuntu.sh)

红圈中的路径可根据服务器磁盘大小来修改,比如:执行df -h命令后,发现有一块500G的磁盘单独挂在到/mnt下,那就可以将docker.service红圈中的路径改成/mnt/docker,如果服务器只有一块磁盘,就不需要修改红圈中的路径。

修改完成后,执行初始化脚本

 #  bash centos.sh   (ubuntu系统执行ubuntu.sh)
  1. Docker和参数验证

1)验证docker是否已正确安装

# docker version

回显如下:

2)验证docker-compose是否已正确安装:

 # docker-compose

回显如下:

3)验证系统参数是否修改

# cat /proc/sys/fs/file-max (16G内存以上是否大于等于1610821)
# cat /proc/sys/net/ipv4/ip_forward (查看是否是1,为0需要修改)
# cat /proc/sys/vm/overcommit_memory (查看是否是1,为0需要修改)
# cat /proc/sys/vm/max_map_count (查看是否大于等于262144,低于此值需要修改)

(三) DataPipeline产品安装​

  1. 服务器有外网可直接登录DP镜像库,不需要下载镜像包,执行完第1步后直接跳到第6步。
# docker login registry.datapipeline.com -udatapipeline -pdatapipeline
  1. 服务器无外网需将DataPipeline产品镜像包下载并上传至服务器
  2. 镜像文件解压缩:
# tar zxvf DP_images_270.tgz

  1. 导入镜像:
# ./load_image.sh
  1. 验证是否已正确导入:
# docker images

  1. 有外网可以直接wget脚本,无外网需将DataPipeline安装脚本下载并上传至服务器。
  2. 脚本文件解压缩:
# tar zxvf DP_single_v2.7.0.tgz

  1. 配置文件修改:
  • 编辑 manifest.sh
# cd /root/datapipeline
# vi manifest.sh

1)修改web访问的IP或已经添加DNS解析的域名,例如:(59.110.164.227或域名)
2)修改DP产品根目录位置(如果默认是/data,可以修改为/home或者/app)
3)修改客户唯一描述符,根据公司全拼或者英文命名,例如:(POC填写:suibian-test;生产填写:SUIBIAN-ONLINE)
4)默认服务器为16G内存,所以选用docker-compose_16G.yml配置文件。如果服务器内存为32G,就改成docker-compose_32G.yml。

注:如果配置文件不是放在根目录下,那么需要修改:

export COMPOSE_FILE=/root/datapipeline/singlehost/docker-compose_16G.yml

改为如下:

export COMPOSE_FILE=当前路径/singlehost/docker-compose_16G.yml
  • 查看当前路径命令:
# pwd
  1. 启动服务
# cd singlehost
# ./startall.sh
# docker ps -a (查看本地容器状态)
  1. 请确保本机80端口开通;如这个端口不可用,需修改 singlehost/docker-compose_16G.yml 中dashboard服务相应端口号;dashboard服务的端口就是web访问时的端口。见下图:image.png
  2. 通过浏览器输入服务器IP,访问DataPipeline,默认用户名admin,密码123456。如已在配置文件中修改了端口号,需在访问IP后加上dashboard对应的端口号。
    输入访问IP后,出现产品登录界面,见下图:

输入用户名和密码进行登录,如可成功进入,说明已部署成功(见下图)。如无法连接,请检查上述部署操作是否正确或联系DataPipeline工程师协助解决。

12)创建任务前,取消schema验证

#  docker exec -it schema_registry curl -X   PUT -H "Content-Type:application/vnd.schemaregistry.v1+json" --data '{"compatibility": "NONE"}' http://localhost:8081/config