1.5 升级指南
升级基本情况说明: 从3.7版本升级到V4.15版本共有几个改动。
4.0版本:增加了功能配置库新增OB-Oracle
4.2版本:增加了节点高可用,需要增加环境变量,并且要对zk进行升级。
4.5版本:底层架构改造。涉及到数据迁移。
另外DP进行了新运行时的改造,因此如果涉及到新老运行时切换,需要做数据迁移。
注意由于4.16版本进行了又一轮的架构改造,当前的升级步骤,只能从3.7直接升级到4.15版本,再到4.16以后得版本。
升级产品的通用步骤
1 升级前版本评估:
当前产品的版本,升级的目标版本,升级的步骤,变更影响分析。
2 暂停容器:
| 顺序 | 容器名称 | 备注 |
|---|---|---|
| 1 | connectdp1 | cd /home/dp/datapipeline/singlehost ./stop.sh connectdp1 |
| 2 | manager | cd /home/dp/datapipeline/singlehost ./stop.sh dashboard |
| 3 | dashboard | cd /home/dp/datapipeline/singlehost ./stop.sh dp-thrall-webservice |
| 4 | dp-thrall-webservice | cd /home/dp/datapipeline/singlehost ./stop.sh manager |
3 数据备份:
该步骤是为了回滚而做的准备。
备份数据库:进入容器: docker exec -it dp-thrall-mysql bash 备份(可以自己选择一个有权限的目录): mysqldump -uroot -pDatapipeline123 dp-thrall > /tmp/dp-thrall-20240911.sql 备份配置文件
3.1 备份mysql,redis,zk,kafka数据
cd /data/datapipeline
tar zcvf mysql_01.tgz mysql
zip -r zk_data01.zip zk_data/*
zip -r zk_log01.zip zk_log/*
zip -r zk_data01.zip redis_data/*
zip -r zk_log01.zip redis_log/*
zip -r zk_data01.zip kafka_data/*
zip -r zk_log01.zip kafka_log/*
3.2 备份启动脚本的manifest.sh和docker-compose.yml
#此处以node1为例,实际操作时,node2~node6的manifest.sh和docker-compose.yml都要备份
| cd /home/dp/datapipeline cp manifest.sh manifest_bak_20240131.sh cp singlehost/docker-compose.yaml singlehost/docker-compose_bak_20240131.yml |
|---|
3.3 执行清理 redis
| docker exec -it dp-thrall-redis1 redis-cli -n 2 -a Datapipeline123 flushdb |
|---|
4 数据迁移
从3.7升级到4.x,如基本情况分析需要首先执行迁移脚本。
4.1 架构改造的数据迁移
如果是4.5以前的版本升级到4.5以后得版本,需要执行该步骤,如果是4.5以后架构改造后的版本,可以跳过该步骤。
配置文件: 请联系DP服务专家获取,分为MySQL配置库和Ob配置库两种类型
注意kafka支持信任认证,plain认证,SCRAM认证
迁移脚本:
dp-4.5-migrator-1.0-SNAPSHOT.jar 请使用最新版本
脚本执行说明:
1、脚本执行命令 LOG_HOME=/root java -cp dp-4.5-migrator-1.0.1.jar com.datapipeline.Dp45DataMigrator config.json
**命令说明**:其中LOG_HOME为日志生成路径,确保当前用户有该路径权限,需要在该路径下创建logs文件夹,会在该文件下创建migrate.log作为程序运行日志config.json 为配置文件路径
2、执行该命令后会根据config.json执行以下几个步骤
- 数据备份,备份到指定的topic/文件当中
- 配置数据读取
- 新的配置数据生成
- 配置数据写回
注意:几个步骤执行完之后,数据迁移工作完成。如果有报错或者其他问题该工具可以重复执行。
4.2 新旧运行时迁移脚本 如果升级版本已经是新运行时,可以跳过该步骤
注意老运行时迁移到新运行时在,需要将docker版本升级到26以上才行,否则新运行时的容器启动时会报错。
配置文件: 请联系DP服务专家获取,分为MySQL配置库和Ob配置库两种类型
注意kafka支持信任认证,plain认证,SCRAM认证
升级工具包:
runtime-migrator-1.0.jar 请使用最新版本
数据迁移步骤:
开始迁移前请务必确认新老脚本资源组名称一致
- 停止manager, connectdp 容器
- 执行java -cp runtime-migrator-1.0.jar -DLOG_HOME=/root com.datapipeline.RuntimeDataMigrator config.json 其中-DLOG_HOME为日志生成路径,需要在改路径下创建logs文件夹,会在该文件下创建migrate.log作为程序运行日志,config.json 为配置文件路径
- 使用runtime脚本按顺序启动otel-collector(可选),coordinator,connectdp,manager 容器
执行该命令后会根据config.json执行以下几个步骤
- 读取kafka相关 config topic,获取配置迁移数据
- 将配置数据进行相关转换,生成新的配置数据 写到新运行时配置表和任务资源表中。
- 读取kafka相关status topic,获取状态迁移数据
- 将状态数据进行相关转换,生成新的状态数据,写到新运行时状态表中。
- 读取kafka相关offset topic,获取进度迁移数据
- 将进度迁移数据进行相关转换,生成新的进度数据,写到新运行时进度表中。
可以在日志文件中找到对应的相关日志。
几个步骤执行完之后,数据迁移工作完成。
如果有报错或者其他问题该工具可以重复执行。
对于多资源组的场景,由于目前尚未支持新运行时内部管理多节点组,所以多资源组 每个资源组需要配置独立的新运行时相关元数据表,每个资源组需要独立进行数据配置迁移。
所以每个资源组需要准备一份配置文件,并执行数据迁移命令。
5 版本升级
完成了数据备份及迁移工作后,即可进行版本升级工作了。
基础工作:
注意开启mysql端口(执行connectdp脚本需要)、redis端口(方便后续查询redis数据)
在对应的容器下,增加port。
5.1 修改manifest.sh中的版本号
# vim manifest.sh
###原有替换为目标版本即可
export DP_THRALL_VERSION=XXXXX
export DP_DATA_SYSTEM_VERSION=XXXXX
export DASHBOARD_VERSION=XXXXX
###新运行时新增:
export COORDINATOR_VERSION=latest
export COORDINATOR_IMAGE=dp-runtime:$COORDINATOR_VERSION
export OPENTELEMETRY_IMAGE=opentelemetry-collector:latest
5.2 修改、添加或删除参数
根据版本情况修改、添加环境变量,请参考环境变量文档。
特殊注意,如果初始版本是4.0版本需要操作数据库删除一条数据,(若mysql配置库4.0版本升级,联系开发,帮助执行这部分)**删除一条数据: 数据表名称:FLYWAY_SCHEMA_HISTORY 删除version=206数据(删除数据步骤在启动容器前操作就行**)
5.2.1 修改服务参数
dp-thrall-webservice**的环境变量中**添加**如下**参数
cd /home/dp/datapipeline/singlehost
vi docker-compose_32G.yml
| - THRALL_DB_TYPE=MYSQL |
|---|
connectdp1**、manager的环境变量中**都需要**添加**如下**参数**
cd /home/dp/datapipeline/singlehost
vi docker-compose_32G.yml
| manager环境变量**添加**如下**参数 - CONFIG_DB_TYPE=MYSQL - CONFIG_DB_URLS=jdbc:mysql://dp-thrall-mysql1:3306;jdbc:mysql://dp-thrall-mysql2:3306;jdbc:mysql://dp-thrall-mysql3:3306 - CONFIG_DB_USER=root - CONFIG_DB_PWD=Datapipeline123 Connectdp环境变量添加如下参数 - CONFIG_DB_TYPE=MYSQL - CONFIG_DB_URLS=jdbc:mysql://dp-thrall-mysql1:3306;jdbc:mysql://dp-thrall-mysql2:3306;jdbc:mysql://dp-thrall-mysql3:3306 - CONFIG_DB_USER=root ** - CONFIG_DB_PWD=Datapipeline123 |
|---|
5.2.2 新增服务
coordinator:
otel-collector
资源组文件修改,请联系DP服务专家获取修改内容
6 启动容器
| 顺序 | 容器名称 | 备注 |
|---|---|---|
| 1 | dp-thrall-webservice | cd /home/dp/datapipeline/singlehost ./start.sh dp-thrall-webservice |
| 2 | dashboard | cd /home/dp/datapipeline/singlehost ./start.sh dashboard |
| 3 | manager | cd /home/dp/datapipeline/singlehost ./start.sh manager |
| 4 | connectdp1 | cd /home/dp/datapipeline/singlehost ./start.sh connectdp1 |
7 失败回滚
7.1 对于架构改造数据迁移的回滚处理
完成数据迁移后,可以通过manager 接口 manager:2222/dptasks/status 来查看是否所有任务迁移正确。如果有大段的错误日志包含找不到插件的错误,则迁移有问题。
或者可以通过 connectdp 接口 connectdp1:8083/connectors?expand=status获取每个集群的connector状态信息。
数据回滚
LOG_HOME=/root java -cp dp-4.5-migrator-1.0-SNAPSHOT.jar com.datapipeline.Dp45DataMigrator config.json ROLLBACK
其中最开始写的LOG_HOME为日志生成路径,需要在改路径下创建logs文件夹,会在该文件下创建migrate.log作为程序运行日志
config.json 为配置文件路径
执行该命令后会根据config.json执行以下几个步骤
- 备份数据读取,根据config.json找到备份数据的topic/文件并进行读取
- 将备份数据写回到原始topic当中
可以在日志文件中找到对应的相关日志。
几个步骤执行完之后,数据迁移回滚工作完成。
如果有报错或者其他问题该工具可以重复执行。
7.2 对于新旧运行时升级数据迁移回滚操作处理:
数据回滚
因为历史数据存储在kafka 当中,不进行修改,所以回滚只需重启之前的版本即可,不需要单独进行数据的回滚。
反向迁移
开始迁移前请务必确认新老脚本资源组名称一致
反向迁移指将新运行时的数据迁移回老运行时存储中,使新运行上线后可以切换回老运行时运行。
- 停止connectdp, coordinator, otel-collector, manager容器
- 执行
java -cp runtime-migrator-1.0.jar -DLOG_HOME=/root com.datapipeline.RuntimeDataMigrator config.json ROLLBACK
其中-DLOG_HOME为日志生成路径,需要在改路径下创建logs文件夹,会在该文件下创建migrate.log作为程序运行日志
config.json 为配置文件路径
- 使用标准版本脚本启动manager, connectdp 容器
执行该命令后会根据config.json执行以下几个步骤
- 读取新运行时config表数据,其中取第一个并行的数据为准
- 写入kafka config topic中,对应connector-开头数据
- 读取新运行时status表数据,其中取第一个并行的数据为准
- 写入kafka config topic中,对应target-state开头数据
- 读取新运行时offset表数据
- 写入kafka offset topic中,对应target-state开头数据
可以在日志文件中找到对应的相关日志。
几个步骤执行完之后,数据迁移工作完成。
如果有报错或者其他问题该工具可以重复执行。
对于多资源组的场景,由于目前尚未支持新运行时内部管理多节点组,所以多资源组 每个资源组需要配置独立的新运行时相关元数据表,每个资源组需要独立进行数据配置迁移。
所以每个资源组需要准备一份配置文件,并执行数据迁移命令。
如果正向迁移为多资源组合并入一个运行时节点组,反向迁移时不能拆回多个节点组,只能是一个节点组