跳到主要内容
版本:v4.19

1.5 升级指南

升级基本情况说明: 从3.7版本升级到V4.15版本共有几个改动。

4.0版本:增加了功能配置库新增OB-Oracle

4.2版本:增加了节点高可用,需要增加环境变量,并且要对zk进行升级。

4.5版本:底层架构改造。涉及到数据迁移。

另外DP进行了新运行时的改造,因此如果涉及到新老运行时切换,需要做数据迁移。

注意由于4.16版本进行了又一轮的架构改造,当前的升级步骤,只能从3.7直接升级到4.15版本,再到4.16以后得版本。

升级产品的通用步骤​

1 升级前版本评估:​

当前产品的版本,升级的目标版本,升级的步骤,变更影响分析。

2 暂停容器:​

顺序容器名称备注
1connectdp1cd /home/dp/datapipeline/singlehost
./stop.sh connectdp1
2managercd /home/dp/datapipeline/singlehost
./stop.sh dashboard
3dashboardcd /home/dp/datapipeline/singlehost
./stop.sh dp-thrall-webservice
4dp-thrall-webservicecd /home/dp/datapipeline/singlehost
./stop.sh manager

3 数据备份:​

该步骤是为了回滚而做的准备。

备份数据库:进入容器: docker exec -it dp-thrall-mysql bash 备份(可以自己选择一个有权限的目录): mysqldump -uroot -pDatapipeline123 dp-thrall > /tmp/dp-thrall-20240911.sql 备份配置文件

3.1 备份mysql,redis,zk,kafka数据​

cd /data/datapipeline

tar zcvf mysql_01.tgz mysql

zip -r zk_data01.zip zk_data/*

zip -r zk_log01.zip zk_log/*

zip -r zk_data01.zip redis_data/*

zip -r zk_log01.zip redis_log/*

zip -r zk_data01.zip kafka_data/*

zip -r zk_log01.zip kafka_log/*

3.2 备份启动脚本的manifest.sh和docker-compose.yml​

#此处以node1为例,实际操作时,node2~node6的manifest.sh和docker-compose.yml都要备份

cd /home/dp/datapipeline
cp manifest.sh manifest_bak_20240131.sh
cp singlehost/docker-compose.yaml singlehost/docker-compose_bak_20240131.yml

3.3 执行清理 redis​

docker exec -it dp-thrall-redis1 redis-cli -n 2 -a Datapipeline123 flushdb

4 数据迁移​

从3.7升级到4.x,如基本情况分析需要首先执行迁移脚本。

4.1 架构改造的数据迁移​

如果是4.5以前的版本升级到4.5以后得版本,需要执行该步骤,如果是4.5以后架构改造后的版本,可以跳过该步骤。

配置文件: 请联系DP服务专家获取,分为MySQL配置库和Ob配置库两种类型

注意kafka支持信任认证,plain认证,SCRAM认证

迁移脚本:

dp-4.5-migrator-1.0-SNAPSHOT.jar 请使用最新版本

脚本执行说明:​

1、脚本执行命令 LOG_HOME=/root java -cp dp-4.5-migrator-1.0.1.jar com.datapipeline.Dp45DataMigrator config.json

**命令说明**:其中LOG_HOME为日志生成路径,确保当前用户有该路径权限,需要在该路径下创建logs文件夹,会在该文件下创建migrate.log作为程序运行日志config.json 为配置文件路径

2、执行该命令后会根据config.json执行以下几个步骤

  • 数据备份,备份到指定的topic/文件当中
  • 配置数据读取
  • 新的配置数据生成
  • 配置数据写回

注意:几个步骤执行完之后,数据迁移工作完成。如果有报错或者其他问题该工具可以重复执行。

4.2 新旧运行时迁移脚本 如果升级版本已经是新运行时,可以跳过该步骤​

注意老运行时迁移到新运行时在,需要将docker版本升级到26以上才行,否则新运行时的容器启动时会报错。

配置文件: 请联系DP服务专家获取,分为MySQL配置库和Ob配置库两种类型

注意kafka支持信任认证,plain认证,SCRAM认证

升级工具包:

runtime-migrator-1.0.jar 请使用最新版本

数据迁移步骤:​

开始迁移前请务必确认新老脚本资源组名称一致

  1. 停止manager, connectdp 容器
  2. 执行java -cp runtime-migrator-1.0.jar -DLOG_HOME=/root com.datapipeline.RuntimeDataMigrator config.json 其中-DLOG_HOME为日志生成路径,需要在改路径下创建logs文件夹,会在该文件下创建migrate.log作为程序运行日志,config.json 为配置文件路径
  3. 使用runtime脚本按顺序启动otel-collector(可选),coordinator,connectdp,manager 容器

执行该命令后会根据config.json执行以下几个步骤

  1. 读取kafka相关 config topic,获取配置迁移数据
  2. 将配置数据进行相关转换,生成新的配置数据 写到新运行时配置表和任务资源表中。
  3. 读取kafka相关status topic,获取状态迁移数据
  4. 将状态数据进行相关转换,生成新的状态数据,写到新运行时状态表中。
  5. 读取kafka相关offset topic,获取进度迁移数据
  6. 将进度迁移数据进行相关转换,生成新的进度数据,写到新运行时进度表中。

可以在日志文件中找到对应的相关日志。

几个步骤执行完之后,数据迁移工作完成。

如果有报错或者其他问题该工具可以重复执行。

对于多资源组的场景,由于目前尚未支持新运行时内部管理多节点组,所以多资源组 每个资源组需要配置独立的新运行时相关元数据表,每个资源组需要独立进行数据配置迁移。

所以每个资源组需要准备一份配置文件,并执行数据迁移命令。

5 版本升级​

完成了数据备份及迁移工作后,即可进行版本升级工作了。

基础工作:

注意开启mysql端口(执行connectdp脚本需要)、redis端口(方便后续查询redis数据)

在对应的容器下,增加port。

5.1 修改manifest.sh中的版本号​

# vim manifest.sh


###原有替换为目标版本即可
export DP_THRALL_VERSION=XXXXX
export DP_DATA_SYSTEM_VERSION=XXXXX
export DASHBOARD_VERSION=XXXXX

###新运行时新增:
export COORDINATOR_VERSION=latest
export COORDINATOR_IMAGE=dp-runtime:$COORDINATOR_VERSION
export OPENTELEMETRY_IMAGE=opentelemetry-collector:latest

5.2 修改、添加或删除参数​

根据版本情况修改、添加环境变量,请参考环境变量文档。

特殊注意,如果初始版本是4.0版本需要操作数据库删除一条数据,(若mysql配置库4.0版本升级,联系开发,帮助执行这部分)**删除一条数据: 数据表名称:FLYWAY_SCHEMA_HISTORY 删除version=206数据(删除数据步骤在启动容器前操作就行**)

5.2.1 修改服务参数​

dp-thrall-webservice**的环境变量中**添加**如下**参数

cd /home/dp/datapipeline/singlehost

vi docker-compose_32G.yml

- THRALL_DB_TYPE=MYSQL

connectdp1**、manager的环境变量中**都需要**添加**如下**参数**

cd /home/dp/datapipeline/singlehost

vi docker-compose_32G.yml

manager环境变量**添加**如下**参数
- CONFIG_DB_TYPE=MYSQL - CONFIG_DB_URLS=jdbc:mysql://dp-thrall-mysql1:3306;jdbc:mysql://dp-thrall-mysql2:3306;jdbc:mysql://dp-thrall-mysql3:3306 - CONFIG_DB_USER=root - CONFIG_DB_PWD=Datapipeline123

Connectdp环境变量添加如下参数
- CONFIG_DB_TYPE=MYSQL
- CONFIG_DB_URLS=jdbc:mysql://dp-thrall-mysql1:3306;jdbc:mysql://dp-thrall-mysql2:3306;jdbc:mysql://dp-thrall-mysql3:3306 - CONFIG_DB_USER=root ** - CONFIG_DB_PWD=Datapipeline123
5.2.2 新增服务​

coordinator:

otel-collector

资源组文件修改,请联系DP服务专家获取修改内容

6 启动容器​

顺序容器名称备注
1dp-thrall-webservicecd /home/dp/datapipeline/singlehost
./start.sh dp-thrall-webservice
2dashboardcd /home/dp/datapipeline/singlehost
./start.sh dashboard
3managercd /home/dp/datapipeline/singlehost
./start.sh manager
4connectdp1cd /home/dp/datapipeline/singlehost
./start.sh connectdp1

7 失败回滚​

7.1 对于架构改造数据迁移的回滚处理​

完成数据迁移后,可以通过manager 接口 manager:2222/dptasks/status 来查看是否所有任务迁移正确。如果有大段的错误日志包含找不到插件的错误,则迁移有问题。

或者可以通过 connectdp 接口 connectdp1:8083/connectors?expand=status获取每个集群的connector状态信息。

数据回滚​

LOG_HOME=/root java -cp dp-4.5-migrator-1.0-SNAPSHOT.jar com.datapipeline.Dp45DataMigrator config.json ROLLBACK

其中最开始写的LOG_HOME为日志生成路径,需要在改路径下创建logs文件夹,会在该文件下创建migrate.log作为程序运行日志

config.json 为配置文件路径

执行该命令后会根据config.json执行以下几个步骤

  1. 备份数据读取,根据config.json找到备份数据的topic/文件并进行读取
  2. 将备份数据写回到原始topic当中

可以在日志文件中找到对应的相关日志。

几个步骤执行完之后,数据迁移回滚工作完成。

如果有报错或者其他问题该工具可以重复执行。

7.2 对于新旧运行时升级数据迁移回滚操作处理:​

数据回滚​

因为历史数据存储在kafka 当中,不进行修改,所以回滚只需重启之前的版本即可,不需要单独进行数据的回滚。

反向迁移​

开始迁移前请务必确认新老脚本资源组名称一致

反向迁移指将新运行时的数据迁移回老运行时存储中,使新运行上线后可以切换回老运行时运行。

  1. 停止connectdp, coordinator, otel-collector, manager容器
  2. 执行

java -cp runtime-migrator-1.0.jar -DLOG_HOME=/root com.datapipeline.RuntimeDataMigrator config.json ROLLBACK

其中-DLOG_HOME为日志生成路径,需要在改路径下创建logs文件夹,会在该文件下创建migrate.log作为程序运行日志

config.json 为配置文件路径

  1. 使用标准版本脚本启动manager, connectdp 容器

执行该命令后会根据config.json执行以下几个步骤

  • 读取新运行时config表数据,其中取第一个并行的数据为准
  • 写入kafka config topic中,对应connector-开头数据
  • 读取新运行时status表数据,其中取第一个并行的数据为准
  • 写入kafka config topic中,对应target-state开头数据
  • 读取新运行时offset表数据
  • 写入kafka offset topic中,对应target-state开头数据

可以在日志文件中找到对应的相关日志。

几个步骤执行完之后,数据迁移工作完成。

如果有报错或者其他问题该工具可以重复执行。

对于多资源组的场景,由于目前尚未支持新运行时内部管理多节点组,所以多资源组 每个资源组需要配置独立的新运行时相关元数据表,每个资源组需要独立进行数据配置迁移。

所以每个资源组需要准备一份配置文件,并执行数据迁移命令。

如果正向迁移为多资源组合并入一个运行时节点组,反向迁移时不能拆回多个节点组,只能是一个节点组