1.5 升级指南
升级基本情况说明: 从3.7版本升级到4.20版本共有几个改动。
4.0版本:增加了功能配置库新增OB-Oracle
4.2版本:增加了节点高可用,需要增加环境变量,并且要对zk进行升级。
4.5版本:底层架构改造。涉及到数据迁移。
4.6版本:正式发布新运行时,因此如果涉及到新老运行时切换,需要做数据迁移。
4.14版本:旧运行时下线,不在维护就运行时
4.16版本: 由于将dp-core中的绝大部分类迁移了package,所以过去的高级清洗需要升级
DP密码密文改造,基础组件加密,环境变量拆分
4.18版本:kafka-avro相关节点需要做高级清洗的升级
注意由于4.16版本进行了又一轮的架构改造,当前的升级步骤,只能从3.7直接升级到4.15版本,再到4.16以后得版本。
升级产品的通用步骤
1 升级前版本评估:
当前产品的版本,升级的目标版本,升级的步骤,变更影响分析。
2 暂停容器:
| 顺序 | 容器名称 | 备注 |
|---|---|---|
| 1 | connectdp1 | cd /home/dp/datapipeline/singlehost ./stop.sh connectdp1 |
| 2 | manager | cd /home/dp/datapipeline/singlehost ./stop.sh dashboard |
| 3 | dashboard | cd /home/dp/datapipeline/singlehost ./stop.sh dp-thrall-webservice |
| 4 | dp-thrall-webservice | cd /home/dp/datapipeline/singlehost ./stop.sh manager |
3 数据备份:
该步骤是为了回滚而做的准备。
备份数据库:进入容器: docker exec -it dp-thrall-mysql bash 备份(可以自己选择一个有权限的目录): mysqldump -uroot -pDatapipeline123 dp-thrall > /tmp/dp-thrall-20240911.sql 备份配置文件
3.1 备份mysql,redis,zk,kafka数据
cd /data/datapipeline
tar zcvf mysql_01.tgz mysql
zip -r zk_data01.zip zk_data/*
zip -r zk_log01.zip zk_log/*
zip -r zk_data01.zip redis_data/*
zip -r zk_log01.zip redis_log/*
zip -r zk_data01.zip kafka_data/*
zip -r zk_log01.zip kafka_log/*
3.2 备份启动脚本的manifest.sh和docker-compose.yml
#此处以node1为例,实际操作时,node2~node6的manifest.sh和docker-compose.yml都要备份
| cd /home/dp/datapipeline cp manifest.sh manifest_bak_20240131.sh cp singlehost/docker-compose.yaml singlehost/docker-compose_bak_20240131.yml |
|---|
3.3 执行清理 redis
| docker exec -it dp-thrall-redis1 redis-cli -n 2 -a Datapipeline123 flushdb |
|---|
4 数据迁移
从3.7升级到4.x,如基本情况分析需要首先执行迁移脚本。
4.1 架构改造的数据迁移
如果是4.5以前的版本升级到4.5以后得版本,需要执行该步骤,如果是4.5以后架构改造后的版本,可以跳过该步骤。
配置文件: 请联系DP服务专家获取,分为MySQL配置库和Ob配置库两种类型
注意kafka支持信任认证,plain认证,SCRAM认证
迁移脚本:
dp-4.5-migrator-1.0-SNAPSHOT.jar 请使用最新版本
脚本执行说明:
1、脚本执行命令 LOG_HOME=/root java -cp dp-4.5-migrator-1.0.1.jar com.datapipeline.Dp45DataMigrator config.json
**命令说明**:其中LOG_HOME为日志生成路径,确保当前用户有该路径权限,需要在该路径下创建logs文件夹,会在该文件下创建migrate.log作为程序运行日志config.json 为配置文件路径
2、执行该命令后会根据config.json执行以下几个步骤
- 数据备份,备份到指定的topic/文件当中
- 配置数据读取
- 新的配置数据生成
- 配置数据写回
注意:几个步骤执行完之后,数据迁移工作完成。如果有报错或者其他问题该工具可以重复执行。
4.2 新旧运行时迁移脚本 如果升级版本已经是新运行时,可以跳过该步骤
注意老运行时迁移到新运行时在,需要将docker版本升级到26以上才行,否则新运行时的容器启动时会报错。
配置文件: 请联系DP服务专家获取,分为MySQL配置库和Ob配置库两种类型
注意kafka支持信任认证,plain认证,SCRAM认证
升级工具包:
runtime-migrator-1.0.jar 请使用最新版本
数据迁移步骤:
开始迁移前请务必确认新老脚本资源组名称一致
- 停止manager, connectdp 容器
- 执行java -cp runtime-migrator-1.0.jar -DLOG_HOME=/root com.datapipeline.RuntimeDataMigrator config.json 其中-DLOG_HOME为日志生成路径,需要在改路径下创建logs文件夹,会在该文件下创建migrate.log作为程序运行日志,config.json 为配置文件路径
- 使用runtime脚本按顺序启动otel-collector(可选),coordinator,connectdp,manager 容器
执行该命令后会根据config.json执行以下几个步骤
- 读取kafka相关 config topic,获取配置迁移数据
- 将配置数据进行相关转换,生成新的配置数据 写到新运行时配置表和任务资源表中。
- 读取kafka相关status topic,获取状态迁移数据
- 将状态数据进行相关转换,生成新的状态数据,写到新运行时状态表中。
- 读取kafka相关offset topic,获取进度迁移数据
- 将进度迁移数据进行相关转换,生成新的进度数据,写到新运行时进度表中。
可以在日志文件中找到对应的相关日志。
几个步骤执行完之后,数据迁移工作完成。
如果有报错或者其他问题该工具可以重复执行。
对于多资源组的场景,由于目前尚未支持新运行时内部管理多节点组,所以多资源组 每个资源组需要配置独立的新运行时相关元数据表,每个资源组需要独立进行数据配置迁移。
所以每个资源组需要准备一份配置文件,并执行数据迁移命令。
5 版本升级
完成了数据备份及迁移工作后,即可进行版本升级工作了。
基础工作:
注意开启mysql端口(执行connectdp脚本需要)、redis端口(方便后续查询redis数据)
在对应的容器下,增加port。
5.1 修改manifest.sh中的版本号
# vim manifest.sh
###原有替换为目标版本即可
export DP_THRALL_VERSION=XXXXX
export DP_DATA_SYSTEM_VERSION=XXXXX
export DASHBOARD_VERSION=XXXXX
export KAFKA_IMAGE=dp_kafka:XXXXX
export ZOOKEEPER_IMAGE=dp_zookeeper:XXXXX
export SCHEMA_REGISTRY_IMAGE=dp_schema_registry:XXXXX
export DP_THRALL_ES_IMAGE=dp-elasticsearch:XXXXX
export DP_THRALL_REDIS_IMAGE=dp-redis:XXXXX
###新运行时新增:
export COORDINATOR_VERSION=latest
export COORDINATOR_IMAGE=dp-runtime:$COORDINATOR_VERSION
export OPENTELEMETRY_IMAGE=opentelemetry-collector:latest
5.2 修改、添加或删除参数
根据版本情况修改、添加环境变量,请参考环境变量文档。
特殊注意,如果初始版本是4.0版本需要操作数据库删除一条数据,(若mysql配置库4.0版本升级,联系开发,帮助执行这部分)**删除一条数据: 数据表名称:FLYWAY_SCHEMA_HISTORY 删除version=206数据(删除数据步骤在启动容器前操作就行**)
5.2.1 修改服务参数
dp-thrall-webservice**的环境变量中**添加**如下**参数
cd /home/dp/datapipeline/singlehost
vi docker-compose_32G.yml
| - THRALL_DB_TYPE=MYSQL |
|---|
manager的环境变量中都需要添加如下参数
cd /home/dp/datapipeline/singlehost
vi docker-compose_32G.yml
| manager环境变量**添加**如下**参数** - CONFIG_DB_TYPE=MYSQL - CONFIG_DB_URLS=jdbc:mysql://dp-thrall-mysql1:3306;jdbc:mysql://dp-thrall-mysql2:3306;jdbc:mysql://dp-thrall-mysql3:3306 - CONFIG_DB_USER=root - CONFIG_DB_PWD=Datapipeline123 |
|---|
connectdp1的环境变量中都需要添加如下参数
cd /home/dp/datapipeline/singlehost
vi docker-compose_32G.yml
| 端口映射:(对应环境变量中的WATCHMAN_REST_PORT的端口) - "4271:4271" 修改 volumes: - ${DP_LOG_HOME}/connectdp/log:/opt/logs - ${DP_LOG_HOME}/connectdp/task:/opt/tasks - ${WB_LIST}:/opt/dpconfig - /etc/passwd:/etc/passwd ** Connectdp环境变量添加如下参数 - CONFIG_DB_TYPE=MYSQL - CONFIG_DB_URLS=jdbc:mysql://dp-thrall-mysql1:3306;jdbc:mysql://dp-thrall-mysql2:3306;jdbc:mysql://dp-thrall-mysql3:3306 - CONFIG_DB_USER=root ** - CONFIG_DB_PWD=Datapipeline123 - COMPONENT=WORKER - DP_COMPONENT=CONNECT - TASK_MANAGER_COORDINATOR_SERVERS=http://coordinator1:8111 - TASK_MANAGER_COLLECTOR_SDK_ENABLE=false - TASK_MANAGER_COLLECTOR_SDK_ENDPOINT=http://otel-collector:4317 - TASK_MANAGER_COLLECTOR_SDK_SERVICE=connectdp - TASK_MANAGER_COLLECTOR_SDK_INSTANCE__NAME=connectdp1 - TASK_MANAGER_COLLECTOR_SDK_INSTANCE__ADDRESS=connectdp1 - TASK_MANAGER_COLLECTOR_SDK_INSTANCE__PORT=8083 - TASK_MANAGER_COLLECTOR_SDK_TIMEOUT=10 - TASK_MANAGER_COLLECTOR_SDK_INTERVAL=10 - TASK_MANAGER_HEARTBEAT_OFFLINE_TIMEOUT_MS=120000 - TASK_MANAGER_PROCESS_GRPC_SERVER_START_TIMEOUT_MS=60000 - TASK_MANAGER_PROCESS_CREATE_TIMEOUT_MS=120000 - TASK_MANAGER_WATCHMAN_URL=http://connectdp1:4271 - TASK_MANAGER_API_SERVER_PORT=8083 - TASK_MANAGER_API_SERVER_HOST=connectdp1 - TASK_MANAGER_TASK_COUNT=1000 - TASK_MANAGER_MEMORY_GB=8 - TASK_MANAGER_CPU=8 - TASK_MANAGER_TASK_CONTAINER_HEARTBEAT_INTERVAL_MS=3000 - TASK_MANAGER_HERDER_TICK_INTERVAL_MS=1000 - TASK_MANAGER_TASK_CONTAINER_LOG_LEVEL=INFO - TASK_MANAGER_TASK_CONTAINER_DIRECT_MEMORY_MB=32 - TASK_MANAGER_TASK_CONTAINER_RESOURCE_MULTIPLIER=200000 - TASK_MANAGER_TASK_CONTAINER_CUSTOM_JVM_OPT=-Duser.home=/opt -Doracle.jdbc.timezoneAsRegion=false -Dsofa.middleware.log.disable=true -Djava.security.egd=file:///dev/./urandom -Doracle.jdbc.useFetchSizeWithLongColumn=true -Dfile.encoding=utf-8 -Des.set.netty.runtime.available.processors=false -Ddb2.jcc.charsetDecoderEncoder=3 -Djava.util.concurrent.ForkJoinPool.common.parallelism=20 - CONNECT_JDBC_URL=jdbc:mysql://dp-thrall-mysql - CONNECT_JDBC_USERNAME=root - CONNECT_JDBC_PASSWORD=Datapipeline123 - CONNECT_OFFSET_STORAGE_DB_TABLE="connectdp:offset" - RUNTIME_TYPE=DP_RUNTIME - USE_RAFT_COORDINATOR=true - COORDINATOR_NODE_RAFT_GROUP__ID=coordinator - COORDINATOR_NODE_RAFT_INITIAL__SERVER__ADDRESS=coordinator1:9081 - WATCHMAN_REST_PORT=4271 - LOG_LEVEL=INFO - JAVA_OPTS=-Xmx400M -Xms400M -XX:MaxDirectMemorySize=32M -XX:SurvivorRatio=8 - CONNECT_INTERNAL_KEY_CONVERTER_SCHEMAS_ENABLE=false - CONNECT_INTERNAL_VALUE_CONVERTER_SCHEMAS_ENABLE=false 删除(可选) - CONNECT_REST_ADVERTISED_PORT=8083 - CONNECT_REST_PORT=8083 - CONNECT_REST_ADVERTISED_HOST_NAME=connectdp1 - CONNECT_GROUP_ID=group_connect_dp - CONNECT_OFFSET_STORAGE_REPLICATION_FACTOR=1 - CONNECT_STATUS_STORAGE_REPLICATION_FACTOR=1 - CONNECT_CONFIG_STORAGE_REPLICATION_FACTOR=1 - CONNECT_CONFIG_STORAGE_TOPIC=config_connect_dp - CONNECT_OFFSET_STORAGE_TOPIC=offset_connect_dp - CONNECT_STATUS_STORAGE_TOPIC=status_connect_dp - KAFKA_HEAP_OPTS=-Xmx4G -Xms4G -XX:MaxDirectMemorySize=1G - Doracle.jdbc.timezoneAsRegion=false -Djava.security.egd=file:///dev/./urandom - Doracle.jdbc.useFetchSizeWithLongColumn=true -Dcom.sun.management.jmxremote=true - Dcom.sun.management.jmxremote.authenticate=false - Dcom.sun.management.jmxremote.ssl=false - Dfile.encoding=utf-8 - Des.set.netty.runtime.available.processors=false - Ddb2.jcc.charsetDecoderEncoder=3 - Djava.util.concurrent.ForkJoinPool.common.parallelism=20 |
|---|
5.2.2 新增服务
| coordinator | 新增服务 |
|---|---|
| otel-collector | 可选 |
5.2.2.1 新增服务coordinator配置
- cd /home/dp/datapipeline/singlehost
- vi docker-compose_32G.yml
| coordinator1: image: ${REGISTRY}/${COORDINATOR_IMAGE} container_name: coordinator1 restart: always user: "${DP_USER_ID}:${DP_GROUP_ID}" volumes: - ${DP_LOG_HOME}/coordinator/data:/opt/raft/data/ - ${DP_LOG_HOME}/coordinator/db:/opt/raft/db/ - ${DP_LOG_HOME}/coordinator/log:/opt/logs/ environment: - COORDINATOR_NODE_RAFT_ENABLE=true - COORDINATOR_NODE_RAFT_DB__PATH=/opt/raft/db - COORDINATOR_NODE_RAFT_DB__CLEAN__TIME=03:00:00 - COORDINATOR_NODE_RAFT_DB__SAVE__DAY=60 - COORDINATOR_NODE_RAFT_DATA__PATH=/opt/raft/data - COORDINATOR_NODE_RAFT_GROUP__ID=coordinator - COORDINATOR_NODE_RAFT_SERVER__ADDRESS=coordinator1:9081 - COORDINATOR_NODE_RAFT_INITIAL__SERVER__ADDRESS=coordinator1:9081 - COORDINATOR_NODE_RAFT_ELECTION__TIMEOUT__MS=30000 - COORDINATOR_NODE_RAFT_ENABLE__METRICS=true - COORDINATOR_HERDER_TICK_INTERVAL_MS=1000 - COORDINATOR_WORKER_HEARTBEAT_OFFLINE_TIMEOUT_MS=120000 - COORDINATOR_WORKER_HEARTBEAT_INTERVAL_MS=5000 - COORDINATOR_TASK_STATUS_INCONSISTENT_TIMEOUT=60000 - COORDINATOR_HTTP_CLIENT_REQUEST_TIMEOUT=10 - COORDINATOR_NUMBER_OF_REQUESTS_PROCESSED_EACH_TIME=100 - COORDINATOR_JDBC_MYSQL_ENABLE=true - COORDINATOR_JDBC_MYSQL_URL=jdbc:mysql://dp-thrall-mysql:3306 - COORDINATOR_JDBC_MYSQL_SCHEMA=coordinator - COORDINATOR_JDBC_MYSQL_USERNAME=root - COORDINATOR_JDBC_MYSQL_PASSWORD=Datapipeline123 - COORDINATOR_JDBC_MYSQL_HIKARI_LEAK__DETECTION__THRESHOLD=20 - COORDINATOR_COLLECTOR_SDK_ENABLE=true - COORDINATOR_COLLECTOR_SDK_ENDPOINT=http://otel-collector:4317 - COORDINATOR_COLLECTOR_SDK_SERVICE=coordinator - COORDINATOR_COLLECTOR_SDK_INSTANCE__NAME=coordinator1 - COORDINATOR_COLLECTOR_SDK_INSTANCE__ADDRESS=coordinator1 - COORDINATOR_COLLECTOR_SDK_INSTANCE__PORT=8111 - COORDINATOR_COLLECTOR_SDK_TIMEOUT=10 - COORDINATOR_COLLECTOR_SDK_INTERVAL=10 - COORDINATOR_HTTP_SERVER_PORT=8111 - COORDINATOR_HTTP_SERVER_HOST=coordinator1 - LOG_LEVEL=INFO - LOG_CONSOLE_LOG_LEVEL=INFO - COMPONENT=COORDINATOR - JAVA_OPTS=-Xmx400m -Xms400m -XX:SurvivorRatio=8 |
|---|
5.2.2.2 新增服务otel-collector配置
- cd /home/dp/datapipeline/singlehost
- vi docker-compose_32G.yml
| otel-collector: image: ${REGISTRY}/${OPENTELEMETRY_IMAGE} container_name: otel-collector volumes: - ${WB_LIST}/config.yaml:/etc/otelcol/config.yaml - /proc:/host/proc:ro - /sys:/host/sys:ro - /:/rootfs:ro - /var/run:/var/run:ro - /etc:/host/etc:ro |
|---|
5.2.2.3 资源组文件修改
请联系DP服务专家获取修改内容
6 DP密码密文改造,基础组件加密
6.1 加密配置方式
| 方式 | 说明 | 文件 |
|---|---|---|
| 方式一:默认加密 | 该方式只需在docker-compose文件中将密码修改为密文即可 | |
| 方式二:自定义加密(以国密sm4为例) | 启动脚本调用加解密jar包 | encryptor-sm4-1.0.0.jar encryptor-demo-1.0.0.jar |
以下步骤以方式二举例
6.2 说明
- 注意:上一步骤中,jar文件需要手动下载,并放到dpconfig目录下,也可自定义目录,但需容器中挂载正确。容器内映射jar文件的路径需要和环境变量保持一致,容器内路径也可自定义(6.4中参数CUSTOM_ENCRYPTOR_CLASS_PATH)
以下步骤以方式二举例
6.3 修改manifest.sh
| # 自定义的密文变量 (变量名称可自定义) export DWSSAP_SIDER_EN=此处配置国密加密后的密文 #明文为:Datapipeline123 export DWSSAP_SE_EN=此处配置国密加密后的密文 #明文为:x-dp-es-rest-password export KAFKA_EN=此处配置国密加密后的密文 #明文为:123456 生成密文方式: java -cp encryptor-demo-1.0.0.jar com.datapipeline.runtime.encryptor.demo.Custom /opt/encryptor-sm4-1.0.0.jar com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor encrypt 密码 |
|---|
6.4 修改docker-compose_32G.yml文件
6.4.1 修改redis服务密文配置
- cd /home/dp/datapipeline/singlehost
- vi docker-compose_32G.yml
| dp-thrall-redis1: volumns: - ${DP_SCRIPT_DIR}/dpconfig/encryptor-sm4-1.0.0.jar:/opt/security/encryptor-sm4-1.0.0.jar environment: - REDIS_PASSWORD=${DWSSAP_SIDER_EN} - REDIS_SENTINEL_USER=dp-sentinel - REDIS_SENTINEL_PASSWORD=${DWSSAP_SIDER_EN} - CUSTOM_ENCRYPTOR_CLASS_PATH=/opt/security/encryptor-sm4-1.0.0.jar - CUSTOM_ENCRYPTOR_CLASS_NAME=com.datapipeline.runtime.encryptor.demo.Sm4Encryptor 启动后验证:docker exec -it dp-thrall-redis1 redis-cli -n 1 -a Datapipeline123 |
|---|
6.4.2 修改es服务密文配置
- cd /home/dp/datapipeline/singlehost
- vi docker-compose_32G.yml
| dp-thrall-es1: volumes: - ${DP_SCRIPT_DIR}/dpconfig/encryptor-sm4-1.0.0.jar:/opt/security/encryptor-sm4-1.0.0.jar environment: - ES_PASSWORD=${DWSSAP_SE_EN} - CUSTOM_ENCRYPTOR_CLASS_PATH=/opt/security/encryptor-sm4-1.0.0.jar - CUSTOM_ENCRYPTOR_CLASS_NAME=com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor |
|---|
6.4.3 修改webservice服务密文配置
- cd /home/dp/datapipeline/singlehost
- vi docker-compose_32G.yml
| dp-thrall-webservice: volumes: - ${DP_SCRIPT_DIR}/dpconfig/encryptor-sm4-1.0.0.jar:/opt/security/encryptor-sm4-1.0.0.jar environment: - CUSTOM_ENCRYPTOR_CLASS_PATH=/opt/security/encryptor-sm4-1.0.0.jar - CUSTOM_ENCRYPTOR_CLASS_NAME=com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor - REDIS_PASSWORD=${DWSSAP_SIDER_EN} - ES_PASSWORD=${DWSSAP_SE_EN} - THRALL_DB_PASSWORD=${DWSSAP_SIDER_EN} #开启kafka plain认证后添加一下参数: - KAFKA_PLAIN_USERNAME=kafka #不开启kafka plain认证则该参数可忽略 - KAFKA_PLAIN_PASSWORD=${KAFKA_EN} #不开启kafka plain认证则该参数可忽略 |
|---|
6.4.4 修改zk1服务密文配置
- cd /home/dp/datapipeline/singlehost
- vi docker-compose_32G.yml
| zk1: volumes: - ${DP_SCRIPT_DIR}/dpconfig/encryptor-sm4-1.0.0.jar:/etc/datapipeline/docker/encryptor-sm4-1.0.0.jar environment: - CUSTOM_ENCRYPTOR_CLASS_PATH=/etc/datapipeline/docker/encryptor-sm4-1.0.0.jar - CUSTOM_ENCRYPTOR_CLASS_NAME=com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor #开启kafka plain认证后添加一下参数: - ZOOKEEPER_ADMIN_USERNAME=admin #不开启kafka plain认证则该参数可忽略 - ZOOKEEPER_ADMIN_PASSWORD=${KAFKA_EN} #不开启kafka plain认证则该参数可忽略 - ZOOKEEPER_PLAIN_USERNAME=kafka。 #不开启kafka plain认证则该参数可忽略 - ZOOKEEPER_PLAIN_PASSWORD=${KAFKA_EN} #不开启kafka plain认证则该参数可忽略 |
|---|
6.4.5 修改kafka服务密文配置
- cd /home/dp/datapipeline/singlehost
- vi docker-compose_32G.yml
| kafka1: volumes: - ${DP_SCRIPT_DIR}/dpconfig/encryptor-sm4-1.0.0.jar:/etc/datapipeline/docker/encryptor-sm4-1.0.0.jar environment: - CUSTOM_ENCRYPTOR_CLASS_PATH=/etc/datapipeline/docker/encryptor-sm4-1.0.0.jar - CUSTOM_ENCRYPTOR_CLASS_NAME=com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor - KAFKA_ADVERTISED_LISTENERS=SASL_PLAINTEXT://kafka1:9092 #开启kafka plain认证后添加一下参数: - ZOOKEEPER_PLAIN_USERNAME=kafka - ZOOKEEPER_PLAIN_PASSWORD=${KAFKA_EN} **** - KAFKA_ADMIN_PASSWORD=${KAFKA_EN} - KAFKA_PLAIN_USERNAME=kafka - KAFKA_PLAIN_PASSWORD=${KAFKA_EN} |
|---|
6.4.6 修改schema_registry服务密文配置
- cd /home/dp/datapipeline/singlehost
- vi docker-compose_32G.yml
| kafka1: volumes: - ${DP_SCRIPT_DIR}/dpconfig/encryptor-sm4-1.0.0.jar:/etc/datapipeline/docker/encryptor-sm4-1.0.0.jar environment: - CUSTOM_ENCRYPTOR_CLASS_PATH=/etc/datapipeline/docker/encryptor-sm4-1.0.0.jar - CUSTOM_ENCRYPTOR_CLASS_NAME=com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor - SCHEMA_REGISTRY_KAFKASTORE_BOOTSTRAP_SERVERS=SASL_PLAINTEXT://kafka1:9092 #开启kafka plain认证后添加以下参数: - KAFKA_PLAIN_USERNAME=kafka - KAFKA_PLAIN_PASSWORD=${KAFKA_EN} |
|---|
6.4.7 修改connectdp1服务密文配置
- cd /home/dp/datapipeline/singlehost
- vi docker-compose_32G.yml
| connectdp1: #新增 volumes: - ${WB_LIST}:/opt/dpconfig environment: - CONNECT_CUSTOM_ENCRYPTOR_CLASS_PATH=/opt/dpconfig/encryptor-sm4-1.0.0.jar - CONNECT_CUSTOM_ENCRYPTOR_CLASS_NAME=com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor - CUSTOM_ENCRYPTOR_CLASS_PATH=/opt/dpconfig/encryptor-sm4-1.0.0.jar - CUSTOM_ENCRYPTOR_CLASS_NAME=com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor #开启kafka plain认证后添加以下参数: - CONNECT_KAFKA_PLAIN_USERNAME=kafka - CONNECT_KAFKA_PLAIN_PASSWORD=${KAFKA_EN} - KAFKA_PLAIN_USERNAME=kafka - KAFKA_PLAIN_PASSWORD=${KAFKA_EN} #修改 - REDIS_PASSWORD=${DWSSAP_SIDER_EN} - CONNECT_JDBC_PASSWORD=${DWSSAP_SIDER_EN} - LOGMINER_REDIS_PASSWORD=${DWSSAP_SIDER_EN} - ES_PASSWORD=${DWSSAP_SE_EN} - CONFIG_DB_PWD=${DWSSAP_SIDER_EN} |
|---|
6.4.8 修改manager服务密文配置
- cd /home/dp/datapipeline/singlehost
- vi docker-compose_32G.yml
| manager1: #新增: volumes: - ${WB_LIST}:/opt/dpconfig environment: - CONNECT_CUSTOM_ENCRYPTOR_CLASS_PATH=/opt/dpconfig/encryptor-sm4-1.0.0.jar - CONNECT_CUSTOM_ENCRYPTOR_CLASS_NAME=com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor - CUSTOM_ENCRYPTOR_CLASS_PATH=/opt/dpconfig/encryptor-sm4-1.0.0.jar - CUSTOM_ENCRYPTOR_CLASS_NAME=com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor #开启kafka plain认证后添加以下参数: - CONNECT_KAFKA_PLAIN_USERNAME=kafka - CONNECT_KAFKA_PLAIN_PASSWORD=${KAFKA_EN} - KAFKA_PLAIN_USERNAME=kafka - KAFKA_PLAIN_PASSWORD=${KAFKA_EN} #修改: - REDIS_PASSWORD=${DWSSAP_SIDER_EN} - ES_PASSWORD=${DWSSAP_SE_EN} - CONFIG_DB_PWD=${DWSSAP_SIDER_EN} |
|---|
6.4.9 修改mysql服务密文配置
- cd /home/dp/datapipeline/singlehost
- vi docker-compose_32G.yml
| dp-thrall-mysql: volumes: - ${WB_LIST}/encryptor-sm4-1.0.0.jar:/encryptor-sm4-1.0.0.jar environment: - CUSTOM_ENCRYPTOR_CLASS_PATH=/encryptor-sm4-1.0.0.jar - CUSTOM_ENCRYPTOR_CLASS_NAME=com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor - MYSQL_ROOT_PASSWORD=${DWSSAP_SIDER_EN} |
|---|
6.4.10 修改coordinator服务密文配置
- cd /home/dp/datapipeline/singlehost
- vi docker-compose_32G.yml
| coordinator1: volumes: - ${WB_LIST}/encryptor-sm4-1.0.0.jar:/opt/encryptor-sm4-1.0.0.jar environment: - COORDINATOR_CUSTOM_ENCRYPTOR_CLASS__PATH=/opt/encryptor-sm4-1.0.0.jar - COORDINATOR_CUSTOM_ENCRYPTOR_CLASS__NAME=com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor #修改 - COORDINATOR_JDBC_MYSQL_PASSWORD=${DWSSAP_SIDER_EN} - COORDINATOR_JDBC_OCEANBASE_ORACLE_PASSWORD=${DWSSAP_SIDER_EN} |
|---|
7 启动容器
| 顺序 | 容器名称 | 备注 |
|---|---|---|
| 1 | zk1 | + cd /home/dp/datapipeline/singlehost + ./start.sh zk1 |
| 2 | kafka1 | + cd /home/dp/datapipeline/singlehost + ./start.sh kafka1 |
| 3 | schema_registry | + cd /home/dp/datapipeline/singlehost + ./start.sh schema_registry |
| 4 | dp-thrall-redis | + cd /home/dp/datapipeline/singlehost + ./start.sh dp-thrall-redis 验证:docker exec -it dp-thrall-redis1 redis-cli -n 1 -a Datapipeline123 keys dp |
| 5 | dp-thrall-es1 | + cd /home/dp/datapipeline/singlehost + ./start.sh dp-thrall-es1 验证:curl -X GET -u x-dp-es-rest-user:x-dp-es-rest-password "localhost:9200" |
| 6 | dp-thrall-webservice | + cd /home/dp/datapipeline/singlehost + ./start.sh dp-thrall-webservice |
| 7 | manager1 | + cd /home/dp/datapipeline/singlehost + ./start.sh manager1 |
8 升级高级清洗
8.1 v4.16高级清洗升级
- 将基础镜像、web和manager容器启动成功后,调用升级接口: /v3/split-v2/migration/code
- 调用接口(token需要换,即authorization后内容进行替换):docker exec -it dp-thrall-webservice curl -H "authorization: eGwn164yRIPjCERDLBopc8VdO9EmflchhPxjuhBqwOnXhxzP8mDR/Zqc2o72gqOb" dp-thrall-webservice:8080/v3/split-v2/migration/code
- 查看webservice日志,【关键字:repoSplitV2】查看升级结果:

8.2 v4.18高级清洗升级
- 将基础镜像、web和manager容器启动成功后,调用升级接口:/v3/split-v2/migration/avro-code
- 调用接口(token需要换,即authorization后内容进行替换):docker exec -it dp-thrall-webservice curl -H "authorization: eGwn164yRIPjCERDLBopc8VdO9EmflchhPxjuhBqwOnXhxzP8mDR/Zqc2o72gqOb" dp-thrall-webservice:8080/v3/split-v2/migration/code
- 查看webservice日志,【关键字:migrationAvro】查看升级结果:

9 启动剩余容器
| 顺序编号 | 容器名称 | 备注 |
|---|---|---|
| 2 | coordinator1 | + cd /home/dp/datapipeline/singlehost + ./start.sh coordinator1 |
| 3 | connectdp1 | + cd /home/dp/datapipeline/singlehost + ./start.sh connectdp1 |
| 4 | dashboard | + cd /home/dp/datapipeline/singlehost + ./start.sh dashboard |
10 失败回滚
10.1 对于架构改造数据迁移的回滚处理
完成数据迁移后,可以通过manager 接口 manager:2222/dptasks/status 来查看是否所有任务迁移正确。如果有大段的错误日志包含找不到插件的错误,则迁移有问题。
或者可以通过 connectdp 接口 connectdp1:8083/connectors?expand=status获取每个集群的connector状态信息。
数据回滚
LOG_HOME=/root java -cp dp-4.5-migrator-1.0-SNAPSHOT.jar com.datapipeline.Dp45DataMigrator config.json ROLLBACK
其中最开始写的LOG_HOME为日志生成路径,需要在改路径下创建logs文件夹,会在该文件下创建migrate.log作为程序运行日志
config.json 为配置文件路径
执行该命令后会根据config.json执行以下几个步骤
- 备份数据读取,根据config.json找到备份数据的topic/文件并进行读取
- 将备份数据写回到原始topic当中
可以在日志文件中找到对应的相关日志。
几个步骤执行完之后,数据迁移回滚工作完成。
如果有报错或者其他问题该工具可以重复执行。
10.2 对于新旧运行时升级数据迁移回滚操作处理:
数据回滚
因为历史数据存储在kafka 当中,不进行修改,所以回滚只需重启之前的版本即可,不需要单独进行数据的回滚。
反向迁移
开始迁移前请务必确认新老脚本资源组名称一致
反向迁移指将新运行时的数据迁移回老运行时存储中,使新运行上线后可以切换回老运行时运行。
- 停止connectdp, coordinator, otel-collector, manager容器
- 执行
java -cp runtime-migrator-1.0.jar -DLOG_HOME=/root com.datapipeline.RuntimeDataMigrator config.json ROLLBACK
其中-DLOG_HOME为日志生成路径,需要在改路径下创建logs文件夹,会在该文件下创建migrate.log作为程序运行日志
config.json 为配置文件路径
- 使用标准版本脚本启动manager, connectdp 容器
执行该命令后会根据config.json执行以下几个步骤
- 读取新运行时config表数据,其中取第一个并行的数据为准
- 写入kafka config topic中,对应connector-开头数据
- 读取新运行时status表数据,其中取第一个并行的数据为准
- 写入kafka config topic中,对应target-state开头数据
- 读取新运行时offset表数据
- 写入kafka offset topic中,对应target-state开头数据
可以在日志文件中找到对应的相关日志。
几个步骤执行完之后,数据迁移工作完成。
如果有报错或者其他问题该工具可以重复执行。
对于多资源组的场景,由于目前尚未支持新运行时内部管理多节点组,所以多资源组 每个资源组需要配置独立的新运行时相关元数据表,每个资源组需要独立进行数据配置迁移。
所以每个资源组需要准备一份配置文件,并执行数据迁移命令。
如果正向迁移为多资源组合并入一个运行时节点组,反向迁移时不能拆回多个节点组,只能是一个节点组