跳到主要内容
版本:v4.23

1.5 升级指南

升级基本情况说明: 从3.7版本升级到4.20版本共有几个改动。

4.0版本:增加了功能配置库新增OB-Oracle

4.2版本:增加了节点高可用,需要增加环境变量,并且要对zk进行升级。

4.5版本:底层架构改造。涉及到数据迁移。

4.6版本:正式发布新运行时,因此如果涉及到新老运行时切换,需要做数据迁移。

4.14版本:旧运行时下线,不在维护就运行时

4.16版本: 由于将dp-core中的绝大部分类迁移了package,所以过去的高级清洗需要升级

DP密码密文改造,基础组件加密,环境变量拆分

4.18版本:kafka-avro相关节点需要做高级清洗的升级

注意由于4.16版本进行了又一轮的架构改造,当前的升级步骤,只能从3.7直接升级到4.15版本,再到4.16以后得版本。

升级产品的通用步骤​

1 升级前版本评估:​

当前产品的版本,升级的目标版本,升级的步骤,变更影响分析。

2 暂停容器:​

顺序容器名称备注
1connectdp1cd /home/dp/datapipeline/singlehost
./stop.sh connectdp1
2managercd /home/dp/datapipeline/singlehost
./stop.sh dashboard
3dashboardcd /home/dp/datapipeline/singlehost
./stop.sh dp-thrall-webservice
4dp-thrall-webservicecd /home/dp/datapipeline/singlehost
./stop.sh manager

3 数据备份:​

该步骤是为了回滚而做的准备。

备份数据库:进入容器: docker exec -it dp-thrall-mysql bash 备份(可以自己选择一个有权限的目录): mysqldump -uroot -pDatapipeline123 dp-thrall > /tmp/dp-thrall-20240911.sql 备份配置文件

3.1 备份mysql,redis,zk,kafka数据​

cd /data/datapipeline

tar zcvf mysql_01.tgz mysql

zip -r zk_data01.zip zk_data/*

zip -r zk_log01.zip zk_log/*

zip -r zk_data01.zip redis_data/*

zip -r zk_log01.zip redis_log/*

zip -r zk_data01.zip kafka_data/*

zip -r zk_log01.zip kafka_log/*

3.2 备份启动脚本的manifest.sh和docker-compose.yml​

#此处以node1为例,实际操作时,node2~node6的manifest.sh和docker-compose.yml都要备份

cd /home/dp/datapipeline
cp manifest.sh manifest_bak_20240131.sh
cp singlehost/docker-compose.yaml singlehost/docker-compose_bak_20240131.yml

3.3 执行清理 redis​

docker exec -it dp-thrall-redis1 redis-cli -n 2 -a Datapipeline123 flushdb

4 数据迁移​

从3.7升级到4.x,如基本情况分析需要首先执行迁移脚本。

4.1 架构改造的数据迁移​

如果是4.5以前的版本升级到4.5以后得版本,需要执行该步骤,如果是4.5以后架构改造后的版本,可以跳过该步骤。

配置文件: 请联系DP服务专家获取,分为MySQL配置库和Ob配置库两种类型

注意kafka支持信任认证,plain认证,SCRAM认证

迁移脚本:

dp-4.5-migrator-1.0-SNAPSHOT.jar 请使用最新版本

脚本执行说明:​

1、脚本执行命令 LOG_HOME=/root java -cp dp-4.5-migrator-1.0.1.jar com.datapipeline.Dp45DataMigrator config.json

**命令说明**:其中LOG_HOME为日志生成路径,确保当前用户有该路径权限,需要在该路径下创建logs文件夹,会在该文件下创建migrate.log作为程序运行日志config.json 为配置文件路径

2、执行该命令后会根据config.json执行以下几个步骤

  • 数据备份,备份到指定的topic/文件当中
  • 配置数据读取
  • 新的配置数据生成
  • 配置数据写回

注意:几个步骤执行完之后,数据迁移工作完成。如果有报错或者其他问题该工具可以重复执行。

4.2 新旧运行时迁移脚本 如果升级版本已经是新运行时,可以跳过该步骤​

注意老运行时迁移到新运行时在,需要将docker版本升级到26以上才行,否则新运行时的容器启动时会报错。

配置文件: 请联系DP服务专家获取,分为MySQL配置库和Ob配置库两种类型

注意kafka支持信任认证,plain认证,SCRAM认证

升级工具包:

runtime-migrator-1.0.jar 请使用最新版本

数据迁移步骤:​

开始迁移前请务必确认新老脚本资源组名称一致

  1. 停止manager, connectdp 容器
  2. 执行java -cp runtime-migrator-1.0.jar -DLOG_HOME=/root com.datapipeline.RuntimeDataMigrator config.json 其中-DLOG_HOME为日志生成路径,需要在改路径下创建logs文件夹,会在该文件下创建migrate.log作为程序运行日志,config.json 为配置文件路径
  3. 使用runtime脚本按顺序启动otel-collector(可选),coordinator,connectdp,manager 容器

执行该命令后会根据config.json执行以下几个步骤

  1. 读取kafka相关 config topic,获取配置迁移数据
  2. 将配置数据进行相关转换,生成新的配置数据 写到新运行时配置表和任务资源表中。
  3. 读取kafka相关status topic,获取状态迁移数据
  4. 将状态数据进行相关转换,生成新的状态数据,写到新运行时状态表中。
  5. 读取kafka相关offset topic,获取进度迁移数据
  6. 将进度迁移数据进行相关转换,生成新的进度数据,写到新运行时进度表中。

可以在日志文件中找到对应的相关日志。

几个步骤执行完之后,数据迁移工作完成。

如果有报错或者其他问题该工具可以重复执行。

对于多资源组的场景,由于目前尚未支持新运行时内部管理多节点组,所以多资源组 每个资源组需要配置独立的新运行时相关元数据表,每个资源组需要独立进行数据配置迁移。

所以每个资源组需要准备一份配置文件,并执行数据迁移命令。

5 版本升级​

完成了数据备份及迁移工作后,即可进行版本升级工作了。

基础工作:

注意开启mysql端口(执行connectdp脚本需要)、redis端口(方便后续查询redis数据)

在对应的容器下,增加port。

5.1 修改manifest.sh中的版本号​

# vim manifest.sh


###原有替换为目标版本即可
export DP_THRALL_VERSION=XXXXX
export DP_DATA_SYSTEM_VERSION=XXXXX
export DASHBOARD_VERSION=XXXXX

export KAFKA_IMAGE=dp_kafka:XXXXX
export ZOOKEEPER_IMAGE=dp_zookeeper:XXXXX
export SCHEMA_REGISTRY_IMAGE=dp_schema_registry:XXXXX

export DP_THRALL_ES_IMAGE=dp-elasticsearch:XXXXX
export DP_THRALL_REDIS_IMAGE=dp-redis:XXXXX

###新运行时新增:
export COORDINATOR_VERSION=latest
export COORDINATOR_IMAGE=dp-runtime:$COORDINATOR_VERSION
export OPENTELEMETRY_IMAGE=opentelemetry-collector:latest

5.2 修改、添加或删除参数​

根据版本情况修改、添加环境变量,请参考环境变量文档。

特殊注意,如果初始版本是4.0版本需要操作数据库删除一条数据,(若mysql配置库4.0版本升级,联系开发,帮助执行这部分)**删除一条数据: 数据表名称:FLYWAY_SCHEMA_HISTORY 删除version=206数据(删除数据步骤在启动容器前操作就行**)

5.2.1 修改服务参数​

dp-thrall-webservice**的环境变量中**添加**如下**参数

cd /home/dp/datapipeline/singlehost

vi docker-compose_32G.yml

- THRALL_DB_TYPE=MYSQL

manager的环境变量中都需要添加如下参数

cd /home/dp/datapipeline/singlehost

vi docker-compose_32G.yml

manager环境变量**添加**如下**参数**
- CONFIG_DB_TYPE=MYSQL - CONFIG_DB_URLS=jdbc:mysql://dp-thrall-mysql1:3306;jdbc:mysql://dp-thrall-mysql2:3306;jdbc:mysql://dp-thrall-mysql3:3306 - CONFIG_DB_USER=root - CONFIG_DB_PWD=Datapipeline123

connectdp1的环境变量中都需要添加如下参数

cd /home/dp/datapipeline/singlehost

vi docker-compose_32G.yml

端口映射:(对应环境变量中的WATCHMAN_REST_PORT的端口)
- "4271:4271"
修改
volumes:
- ${DP_LOG_HOME}/connectdp/log:/opt/logs
- ${DP_LOG_HOME}/connectdp/task:/opt/tasks
- ${WB_LIST}:/opt/dpconfig
- /etc/passwd:/etc/passwd
**
Connectdp环境变量添加如下参数
- CONFIG_DB_TYPE=MYSQL
- CONFIG_DB_URLS=jdbc:mysql://dp-thrall-mysql1:3306;jdbc:mysql://dp-thrall-mysql2:3306;jdbc:mysql://dp-thrall-mysql3:3306 - CONFIG_DB_USER=root ** - CONFIG_DB_PWD=Datapipeline123
- COMPONENT=WORKER
- DP_COMPONENT=CONNECT
- TASK_MANAGER_COORDINATOR_SERVERS=http://coordinator1:8111
- TASK_MANAGER_COLLECTOR_SDK_ENABLE=false
- TASK_MANAGER_COLLECTOR_SDK_ENDPOINT=http://otel-collector:4317
- TASK_MANAGER_COLLECTOR_SDK_SERVICE=connectdp
- TASK_MANAGER_COLLECTOR_SDK_INSTANCE__NAME=connectdp1
- TASK_MANAGER_COLLECTOR_SDK_INSTANCE__ADDRESS=connectdp1
- TASK_MANAGER_COLLECTOR_SDK_INSTANCE__PORT=8083
- TASK_MANAGER_COLLECTOR_SDK_TIMEOUT=10
- TASK_MANAGER_COLLECTOR_SDK_INTERVAL=10
- TASK_MANAGER_HEARTBEAT_OFFLINE_TIMEOUT_MS=120000
- TASK_MANAGER_PROCESS_GRPC_SERVER_START_TIMEOUT_MS=60000
- TASK_MANAGER_PROCESS_CREATE_TIMEOUT_MS=120000
- TASK_MANAGER_WATCHMAN_URL=http://connectdp1:4271
- TASK_MANAGER_API_SERVER_PORT=8083
- TASK_MANAGER_API_SERVER_HOST=connectdp1
- TASK_MANAGER_TASK_COUNT=1000
- TASK_MANAGER_MEMORY_GB=8
- TASK_MANAGER_CPU=8
- TASK_MANAGER_TASK_CONTAINER_HEARTBEAT_INTERVAL_MS=3000
- TASK_MANAGER_HERDER_TICK_INTERVAL_MS=1000
- TASK_MANAGER_TASK_CONTAINER_LOG_LEVEL=INFO
- TASK_MANAGER_TASK_CONTAINER_DIRECT_MEMORY_MB=32
- TASK_MANAGER_TASK_CONTAINER_RESOURCE_MULTIPLIER=200000
- TASK_MANAGER_TASK_CONTAINER_CUSTOM_JVM_OPT=-Duser.home=/opt -Doracle.jdbc.timezoneAsRegion=false -Dsofa.middleware.log.disable=true -Djava.security.egd=file:///dev/./urandom -Doracle.jdbc.useFetchSizeWithLongColumn=true -Dfile.encoding=utf-8 -Des.set.netty.runtime.available.processors=false -Ddb2.jcc.charsetDecoderEncoder=3 -Djava.util.concurrent.ForkJoinPool.common.parallelism=20
- CONNECT_JDBC_URL=jdbc:mysql://dp-thrall-mysql
- CONNECT_JDBC_USERNAME=root
- CONNECT_JDBC_PASSWORD=Datapipeline123
- CONNECT_OFFSET_STORAGE_DB_TABLE="connectdp:offset"
- RUNTIME_TYPE=DP_RUNTIME
- USE_RAFT_COORDINATOR=true
- COORDINATOR_NODE_RAFT_GROUP__ID=coordinator
- COORDINATOR_NODE_RAFT_INITIAL__SERVER__ADDRESS=coordinator1:9081
- WATCHMAN_REST_PORT=4271
- LOG_LEVEL=INFO
- JAVA_OPTS=-Xmx400M -Xms400M -XX:MaxDirectMemorySize=32M -XX:SurvivorRatio=8
- CONNECT_INTERNAL_KEY_CONVERTER_SCHEMAS_ENABLE=false
- CONNECT_INTERNAL_VALUE_CONVERTER_SCHEMAS_ENABLE=false

删除(可选)
- CONNECT_REST_ADVERTISED_PORT=8083
- CONNECT_REST_PORT=8083
- CONNECT_REST_ADVERTISED_HOST_NAME=connectdp1
- CONNECT_GROUP_ID=group_connect_dp
- CONNECT_OFFSET_STORAGE_REPLICATION_FACTOR=1
- CONNECT_STATUS_STORAGE_REPLICATION_FACTOR=1
- CONNECT_CONFIG_STORAGE_REPLICATION_FACTOR=1
- CONNECT_CONFIG_STORAGE_TOPIC=config_connect_dp
- CONNECT_OFFSET_STORAGE_TOPIC=offset_connect_dp
- CONNECT_STATUS_STORAGE_TOPIC=status_connect_dp
- KAFKA_HEAP_OPTS=-Xmx4G -Xms4G -XX:MaxDirectMemorySize=1G
- Doracle.jdbc.timezoneAsRegion=false -Djava.security.egd=file:///dev/./urandom
- Doracle.jdbc.useFetchSizeWithLongColumn=true -Dcom.sun.management.jmxremote=true
- Dcom.sun.management.jmxremote.authenticate=false
- Dcom.sun.management.jmxremote.ssl=false
- Dfile.encoding=utf-8
- Des.set.netty.runtime.available.processors=false
- Ddb2.jcc.charsetDecoderEncoder=3
- Djava.util.concurrent.ForkJoinPool.common.parallelism=20
5.2.2 新增服务​
coordinator新增服务
otel-collector可选

5.2.2.1 新增服务coordinator配置

  • cd /home/dp/datapipeline/singlehost
  • vi docker-compose_32G.yml
coordinator1:
image: ${REGISTRY}/${COORDINATOR_IMAGE}
container_name: coordinator1
restart: always
user: "${DP_USER_ID}:${DP_GROUP_ID}"
volumes:
- ${DP_LOG_HOME}/coordinator/data:/opt/raft/data/
- ${DP_LOG_HOME}/coordinator/db:/opt/raft/db/
- ${DP_LOG_HOME}/coordinator/log:/opt/logs/
environment:
- COORDINATOR_NODE_RAFT_ENABLE=true
- COORDINATOR_NODE_RAFT_DB__PATH=/opt/raft/db
- COORDINATOR_NODE_RAFT_DB__CLEAN__TIME=03:00:00
- COORDINATOR_NODE_RAFT_DB__SAVE__DAY=60
- COORDINATOR_NODE_RAFT_DATA__PATH=/opt/raft/data
- COORDINATOR_NODE_RAFT_GROUP__ID=coordinator
- COORDINATOR_NODE_RAFT_SERVER__ADDRESS=coordinator1:9081
- COORDINATOR_NODE_RAFT_INITIAL__SERVER__ADDRESS=coordinator1:9081
- COORDINATOR_NODE_RAFT_ELECTION__TIMEOUT__MS=30000
- COORDINATOR_NODE_RAFT_ENABLE__METRICS=true
- COORDINATOR_HERDER_TICK_INTERVAL_MS=1000
- COORDINATOR_WORKER_HEARTBEAT_OFFLINE_TIMEOUT_MS=120000
- COORDINATOR_WORKER_HEARTBEAT_INTERVAL_MS=5000
- COORDINATOR_TASK_STATUS_INCONSISTENT_TIMEOUT=60000
- COORDINATOR_HTTP_CLIENT_REQUEST_TIMEOUT=10
- COORDINATOR_NUMBER_OF_REQUESTS_PROCESSED_EACH_TIME=100
- COORDINATOR_JDBC_MYSQL_ENABLE=true
- COORDINATOR_JDBC_MYSQL_URL=jdbc:mysql://dp-thrall-mysql:3306
- COORDINATOR_JDBC_MYSQL_SCHEMA=coordinator
- COORDINATOR_JDBC_MYSQL_USERNAME=root
- COORDINATOR_JDBC_MYSQL_PASSWORD=Datapipeline123
- COORDINATOR_JDBC_MYSQL_HIKARI_LEAK__DETECTION__THRESHOLD=20
- COORDINATOR_COLLECTOR_SDK_ENABLE=true
- COORDINATOR_COLLECTOR_SDK_ENDPOINT=http://otel-collector:4317
- COORDINATOR_COLLECTOR_SDK_SERVICE=coordinator
- COORDINATOR_COLLECTOR_SDK_INSTANCE__NAME=coordinator1
- COORDINATOR_COLLECTOR_SDK_INSTANCE__ADDRESS=coordinator1
- COORDINATOR_COLLECTOR_SDK_INSTANCE__PORT=8111
- COORDINATOR_COLLECTOR_SDK_TIMEOUT=10
- COORDINATOR_COLLECTOR_SDK_INTERVAL=10
- COORDINATOR_HTTP_SERVER_PORT=8111
- COORDINATOR_HTTP_SERVER_HOST=coordinator1
- LOG_LEVEL=INFO
- LOG_CONSOLE_LOG_LEVEL=INFO
- COMPONENT=COORDINATOR
- JAVA_OPTS=-Xmx400m -Xms400m -XX:SurvivorRatio=8

5.2.2.2 新增服务otel-collector配置

  • cd /home/dp/datapipeline/singlehost
  • vi docker-compose_32G.yml
otel-collector:
image: ${REGISTRY}/${OPENTELEMETRY_IMAGE}
container_name: otel-collector
volumes:
- ${WB_LIST}/config.yaml:/etc/otelcol/config.yaml
- /proc:/host/proc:ro
- /sys:/host/sys:ro
- /:/rootfs:ro
- /var/run:/var/run:ro
- /etc:/host/etc:ro

5.2.2.3 资源组文件修改

请联系DP服务专家获取修改内容

6 DP密码密文改造,基础组件加密​

6.1 加密配置方式​

方式说明文件
方式一:默认加密该方式只需在docker-compose文件中将密码修改为密文即可
方式二:自定义加密(以国密sm4为例)启动脚本调用加解密jar包encryptor-sm4-1.0.0.jar
encryptor-demo-1.0.0.jar

以下步骤以方式二举例

6.2 说明​

  • 注意:上一步骤中,jar文件需要手动下载,并放到dpconfig目录下,也可自定义目录,但需容器中挂载正确。容器内映射jar文件的路径需要和环境变量保持一致,容器内路径也可自定义(6.4中参数CUSTOM_ENCRYPTOR_CLASS_PATH)

以下步骤以方式二举例

6.3 修改manifest.sh​

# 自定义的密文变量 (变量名称可自定义)
export DWSSAP_SIDER_EN=此处配置国密加密后的密文 #明文为:Datapipeline123
export DWSSAP_SE_EN=此处配置国密加密后的密文 #明文为:x-dp-es-rest-password
export KAFKA_EN=此处配置国密加密后的密文 #明文为:123456

生成密文方式:
java -cp encryptor-demo-1.0.0.jar com.datapipeline.runtime.encryptor.demo.Custom /opt/encryptor-sm4-1.0.0.jar com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor encrypt 密码

6.4 修改docker-compose_32G.yml文件​

6.4.1 修改redis服务密文配置​
  • cd /home/dp/datapipeline/singlehost
  • vi docker-compose_32G.yml
dp-thrall-redis1:
volumns:
- ${DP_SCRIPT_DIR}/dpconfig/encryptor-sm4-1.0.0.jar:/opt/security/encryptor-sm4-1.0.0.jar

environment:
- REDIS_PASSWORD=${DWSSAP_SIDER_EN}
- REDIS_SENTINEL_USER=dp-sentinel
- REDIS_SENTINEL_PASSWORD=${DWSSAP_SIDER_EN}
- CUSTOM_ENCRYPTOR_CLASS_PATH=/opt/security/encryptor-sm4-1.0.0.jar
- CUSTOM_ENCRYPTOR_CLASS_NAME=com.datapipeline.runtime.encryptor.demo.Sm4Encryptor

启动后验证:docker exec -it dp-thrall-redis1 redis-cli -n 1 -a Datapipeline123
6.4.2 修改es服务密文配置​
  • cd /home/dp/datapipeline/singlehost
  • vi docker-compose_32G.yml
dp-thrall-es1:
volumes:
- ${DP_SCRIPT_DIR}/dpconfig/encryptor-sm4-1.0.0.jar:/opt/security/encryptor-sm4-1.0.0.jar
environment:
- ES_PASSWORD=${DWSSAP_SE_EN}
- CUSTOM_ENCRYPTOR_CLASS_PATH=/opt/security/encryptor-sm4-1.0.0.jar
- CUSTOM_ENCRYPTOR_CLASS_NAME=com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor
6.4.3 修改webservice服务密文配置​
  • cd /home/dp/datapipeline/singlehost
  • vi docker-compose_32G.yml
dp-thrall-webservice:
volumes:
- ${DP_SCRIPT_DIR}/dpconfig/encryptor-sm4-1.0.0.jar:/opt/security/encryptor-sm4-1.0.0.jar
environment:
- CUSTOM_ENCRYPTOR_CLASS_PATH=/opt/security/encryptor-sm4-1.0.0.jar
- CUSTOM_ENCRYPTOR_CLASS_NAME=com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor
- REDIS_PASSWORD=${DWSSAP_SIDER_EN}
- ES_PASSWORD=${DWSSAP_SE_EN}
- THRALL_DB_PASSWORD=${DWSSAP_SIDER_EN}

#开启kafka plain认证后添加一下参数:
- KAFKA_PLAIN_USERNAME=kafka #不开启kafka plain认证则该参数可忽略
- KAFKA_PLAIN_PASSWORD=${KAFKA_EN} #不开启kafka plain认证则该参数可忽略
6.4.4 修改zk1服务密文配置​
  • cd /home/dp/datapipeline/singlehost
  • vi docker-compose_32G.yml
zk1:
volumes:
- ${DP_SCRIPT_DIR}/dpconfig/encryptor-sm4-1.0.0.jar:/etc/datapipeline/docker/encryptor-sm4-1.0.0.jar
environment:
- CUSTOM_ENCRYPTOR_CLASS_PATH=/etc/datapipeline/docker/encryptor-sm4-1.0.0.jar
- CUSTOM_ENCRYPTOR_CLASS_NAME=com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor
#开启kafka plain认证后添加一下参数:
- ZOOKEEPER_ADMIN_USERNAME=admin #不开启kafka plain认证则该参数可忽略
- ZOOKEEPER_ADMIN_PASSWORD=${KAFKA_EN} #不开启kafka plain认证则该参数可忽略
- ZOOKEEPER_PLAIN_USERNAME=kafka。 #不开启kafka plain认证则该参数可忽略
- ZOOKEEPER_PLAIN_PASSWORD=${KAFKA_EN} #不开启kafka plain认证则该参数可忽略
6.4.5 修改kafka服务密文配置​
  • cd /home/dp/datapipeline/singlehost
  • vi docker-compose_32G.yml
kafka1:
volumes:
- ${DP_SCRIPT_DIR}/dpconfig/encryptor-sm4-1.0.0.jar:/etc/datapipeline/docker/encryptor-sm4-1.0.0.jar
environment:
- CUSTOM_ENCRYPTOR_CLASS_PATH=/etc/datapipeline/docker/encryptor-sm4-1.0.0.jar
- CUSTOM_ENCRYPTOR_CLASS_NAME=com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor
- KAFKA_ADVERTISED_LISTENERS=SASL_PLAINTEXT://kafka1:9092

#开启kafka plain认证后添加一下参数:
- ZOOKEEPER_PLAIN_USERNAME=kafka
- ZOOKEEPER_PLAIN_PASSWORD=${KAFKA_EN} ****
- KAFKA_ADMIN_PASSWORD=${KAFKA_EN}
- KAFKA_PLAIN_USERNAME=kafka
- KAFKA_PLAIN_PASSWORD=${KAFKA_EN}
6.4.6 修改schema_registry服务密文配置​
  • cd /home/dp/datapipeline/singlehost
  • vi docker-compose_32G.yml
kafka1:
volumes:
- ${DP_SCRIPT_DIR}/dpconfig/encryptor-sm4-1.0.0.jar:/etc/datapipeline/docker/encryptor-sm4-1.0.0.jar
environment:
- CUSTOM_ENCRYPTOR_CLASS_PATH=/etc/datapipeline/docker/encryptor-sm4-1.0.0.jar
- CUSTOM_ENCRYPTOR_CLASS_NAME=com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor
- SCHEMA_REGISTRY_KAFKASTORE_BOOTSTRAP_SERVERS=SASL_PLAINTEXT://kafka1:9092

#开启kafka plain认证后添加以下参数:
- KAFKA_PLAIN_USERNAME=kafka
- KAFKA_PLAIN_PASSWORD=${KAFKA_EN}
6.4.7 修改connectdp1服务密文配置​
  • cd /home/dp/datapipeline/singlehost
  • vi docker-compose_32G.yml
connectdp1:
#新增
volumes:
- ${WB_LIST}:/opt/dpconfig
environment:
- CONNECT_CUSTOM_ENCRYPTOR_CLASS_PATH=/opt/dpconfig/encryptor-sm4-1.0.0.jar
- CONNECT_CUSTOM_ENCRYPTOR_CLASS_NAME=com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor
- CUSTOM_ENCRYPTOR_CLASS_PATH=/opt/dpconfig/encryptor-sm4-1.0.0.jar
- CUSTOM_ENCRYPTOR_CLASS_NAME=com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor
#开启kafka plain认证后添加以下参数:
- CONNECT_KAFKA_PLAIN_USERNAME=kafka
- CONNECT_KAFKA_PLAIN_PASSWORD=${KAFKA_EN}
- KAFKA_PLAIN_USERNAME=kafka
- KAFKA_PLAIN_PASSWORD=${KAFKA_EN}

#修改
- REDIS_PASSWORD=${DWSSAP_SIDER_EN}
- CONNECT_JDBC_PASSWORD=${DWSSAP_SIDER_EN}
- LOGMINER_REDIS_PASSWORD=${DWSSAP_SIDER_EN}
- ES_PASSWORD=${DWSSAP_SE_EN}
- CONFIG_DB_PWD=${DWSSAP_SIDER_EN}
6.4.8 修改manager服务密文配置​
  • cd /home/dp/datapipeline/singlehost
  • vi docker-compose_32G.yml
manager1:
#新增:
volumes:
- ${WB_LIST}:/opt/dpconfig

environment:
- CONNECT_CUSTOM_ENCRYPTOR_CLASS_PATH=/opt/dpconfig/encryptor-sm4-1.0.0.jar
- CONNECT_CUSTOM_ENCRYPTOR_CLASS_NAME=com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor
- CUSTOM_ENCRYPTOR_CLASS_PATH=/opt/dpconfig/encryptor-sm4-1.0.0.jar
- CUSTOM_ENCRYPTOR_CLASS_NAME=com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor
#开启kafka plain认证后添加以下参数:
- CONNECT_KAFKA_PLAIN_USERNAME=kafka
- CONNECT_KAFKA_PLAIN_PASSWORD=${KAFKA_EN}
- KAFKA_PLAIN_USERNAME=kafka
- KAFKA_PLAIN_PASSWORD=${KAFKA_EN}

#修改:
- REDIS_PASSWORD=${DWSSAP_SIDER_EN}
- ES_PASSWORD=${DWSSAP_SE_EN}
- CONFIG_DB_PWD=${DWSSAP_SIDER_EN}
6.4.9 修改mysql服务密文配置​
  • cd /home/dp/datapipeline/singlehost
  • vi docker-compose_32G.yml
dp-thrall-mysql:
volumes:
- ${WB_LIST}/encryptor-sm4-1.0.0.jar:/encryptor-sm4-1.0.0.jar
environment:
- CUSTOM_ENCRYPTOR_CLASS_PATH=/encryptor-sm4-1.0.0.jar
- CUSTOM_ENCRYPTOR_CLASS_NAME=com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor
- MYSQL_ROOT_PASSWORD=${DWSSAP_SIDER_EN}
6.4.10 修改coordinator服务密文配置​
  • cd /home/dp/datapipeline/singlehost
  • vi docker-compose_32G.yml
coordinator1:
volumes:
- ${WB_LIST}/encryptor-sm4-1.0.0.jar:/opt/encryptor-sm4-1.0.0.jar

environment:
- COORDINATOR_CUSTOM_ENCRYPTOR_CLASS__PATH=/opt/encryptor-sm4-1.0.0.jar
- COORDINATOR_CUSTOM_ENCRYPTOR_CLASS__NAME=com.datapipeline.runtime.encryptor.sm4.Sm4Encryptor
#修改
- COORDINATOR_JDBC_MYSQL_PASSWORD=${DWSSAP_SIDER_EN}
- COORDINATOR_JDBC_OCEANBASE_ORACLE_PASSWORD=${DWSSAP_SIDER_EN}

7 启动容器​

顺序容器名称备注
1zk1+ cd /home/dp/datapipeline/singlehost
+ ./start.sh zk1
2kafka1+ cd /home/dp/datapipeline/singlehost
+ ./start.sh kafka1
3schema_registry+ cd /home/dp/datapipeline/singlehost
+ ./start.sh schema_registry
4dp-thrall-redis+ cd /home/dp/datapipeline/singlehost
+ ./start.sh dp-thrall-redis
验证:docker exec -it dp-thrall-redis1 redis-cli -n 1 -a Datapipeline123
keys dp
5dp-thrall-es1+ cd /home/dp/datapipeline/singlehost
+ ./start.sh dp-thrall-es1
验证:curl -X GET -u x-dp-es-rest-user:x-dp-es-rest-password "localhost:9200"
6dp-thrall-webservice+ cd /home/dp/datapipeline/singlehost
+ ./start.sh dp-thrall-webservice
7manager1+ cd /home/dp/datapipeline/singlehost
+ ./start.sh manager1

8 升级高级清洗​

8.1 v4.16高级清洗升级​

  • 将基础镜像、web和manager容器启动成功后,调用升级接口: /v3/split-v2/migration/code
  • 调用接口(token需要换,即authorization后内容进行替换):docker exec -it dp-thrall-webservice curl -H "authorization: eGwn164yRIPjCERDLBopc8VdO9EmflchhPxjuhBqwOnXhxzP8mDR/Zqc2o72gqOb" dp-thrall-webservice:8080/v3/split-v2/migration/code
  • 查看webservice日志,【关键字:repoSplitV2】查看升级结果:

8.2 v4.18高级清洗升级​

  • 将基础镜像、web和manager容器启动成功后,调用升级接口:/v3/split-v2/migration/avro-code
  • 调用接口(token需要换,即authorization后内容进行替换):docker exec -it dp-thrall-webservice curl -H "authorization: eGwn164yRIPjCERDLBopc8VdO9EmflchhPxjuhBqwOnXhxzP8mDR/Zqc2o72gqOb" dp-thrall-webservice:8080/v3/split-v2/migration/code
  • 查看webservice日志,【关键字:migrationAvro】查看升级结果:

9 启动剩余容器​

顺序编号容器名称备注
2coordinator1+ cd /home/dp/datapipeline/singlehost
+ ./start.sh coordinator1
3connectdp1+ cd /home/dp/datapipeline/singlehost
+ ./start.sh connectdp1
4dashboard+ cd /home/dp/datapipeline/singlehost
+ ./start.sh dashboard

10 失败回滚​

10.1 对于架构改造数据迁移的回滚处理​

完成数据迁移后,可以通过manager 接口 manager:2222/dptasks/status 来查看是否所有任务迁移正确。如果有大段的错误日志包含找不到插件的错误,则迁移有问题。

或者可以通过 connectdp 接口 connectdp1:8083/connectors?expand=status获取每个集群的connector状态信息。

数据回滚​

LOG_HOME=/root java -cp dp-4.5-migrator-1.0-SNAPSHOT.jar com.datapipeline.Dp45DataMigrator config.json ROLLBACK

其中最开始写的LOG_HOME为日志生成路径,需要在改路径下创建logs文件夹,会在该文件下创建migrate.log作为程序运行日志

config.json 为配置文件路径

执行该命令后会根据config.json执行以下几个步骤

  1. 备份数据读取,根据config.json找到备份数据的topic/文件并进行读取
  2. 将备份数据写回到原始topic当中

可以在日志文件中找到对应的相关日志。

几个步骤执行完之后,数据迁移回滚工作完成。

如果有报错或者其他问题该工具可以重复执行。

10.2 对于新旧运行时升级数据迁移回滚操作处理:​

数据回滚​

因为历史数据存储在kafka 当中,不进行修改,所以回滚只需重启之前的版本即可,不需要单独进行数据的回滚。

反向迁移​

开始迁移前请务必确认新老脚本资源组名称一致

反向迁移指将新运行时的数据迁移回老运行时存储中,使新运行上线后可以切换回老运行时运行。

  1. 停止connectdp, coordinator, otel-collector, manager容器
  2. 执行

java -cp runtime-migrator-1.0.jar -DLOG_HOME=/root com.datapipeline.RuntimeDataMigrator config.json ROLLBACK

其中-DLOG_HOME为日志生成路径,需要在改路径下创建logs文件夹,会在该文件下创建migrate.log作为程序运行日志

config.json 为配置文件路径

  1. 使用标准版本脚本启动manager, connectdp 容器

执行该命令后会根据config.json执行以下几个步骤

  • 读取新运行时config表数据,其中取第一个并行的数据为准
  • 写入kafka config topic中,对应connector-开头数据
  • 读取新运行时status表数据,其中取第一个并行的数据为准
  • 写入kafka config topic中,对应target-state开头数据
  • 读取新运行时offset表数据
  • 写入kafka offset topic中,对应target-state开头数据

可以在日志文件中找到对应的相关日志。

几个步骤执行完之后,数据迁移工作完成。

如果有报错或者其他问题该工具可以重复执行。

对于多资源组的场景,由于目前尚未支持新运行时内部管理多节点组,所以多资源组 每个资源组需要配置独立的新运行时相关元数据表,每个资源组需要独立进行数据配置迁移。

所以每个资源组需要准备一份配置文件,并执行数据迁移命令。

如果正向迁移为多资源组合并入一个运行时节点组,反向迁移时不能拆回多个节点组,只能是一个节点组