跳到主要内容
版本:v5.13

配置迁移

配置迁移是数据节点、数据链路、数据任务配置的导出、导入功能。通过配置迁移,您可将测试环境中经过充分测试的节点、链路、任务配置迁移至生产环境。

术语​

概念说明
数据节点DP的数据节点
数据链路DP的数据链路
数据链路-数据映射DP 数据链路里的数据映射
数据任务DP的数据任务
数据任务-数据映射DP 数据任务里的数据映射
数据对象存在于数据映射采集对象或者写入对象
表,视图,文件,集合,字段

场景​

通过A环境导出配置,然后导入到B环境中,对于B环境而言,上述的五种数据类型的对象,分别有3种情况。

场景导入判断允许的操作
A环境有,B环境没有新增对象以A环境为准:新增
以B环境为准:忽略
A,B环境有同名对象同名对象发生变更以A环境为准:覆盖
以B环境为准:忽略
只更新A相较B而言更新的内容:更新
A环境没有,B环境有不影响同名对象以A环境为准:删除掉B环境的对象
以B环境为准:忽略

导出业务流程​

导出数据对象​

允许独立导出的对象有三类,这三类对象可以独立导出,也可以任意组合。

  1. 数据节点
  2. 数据链路+(数据链路-数据映射)
  3. 数据任务+(数据任务-数据映射)+数据链路+(数据链路-数据映射)

注意

  1. 当前DP的数据任务依赖于数据链路,因此导出任务时,会强制导出该任务所关联的链路。
  2. 数据映射虽然时一个对象,但是需要依赖于链路和任务,因此不能独立导出需要,导出到父级对象才可以。

整合配置:​

因为我们导出时,存在相关节点,相关链路,相关任务,因此需要进行整合。

同时数据映射以及数据采集和写入的对象也会进行整合,维护起来。

导出限制说明:​

  1. 不支持导出自定义高级清洗脚本的依赖Jar包
  2. 不支持导出预警策略中的预警发送组
  3. 节点配置:
    1. 导出时不导出密码信息
    2. 不导出连接验证需要的文件
    3. 不导出节点元数据信息(创建时间、创建者、更新时间、更新者、活跃状态),需要在导入配置后手动更新配置,并在相关链路中刷新节点元数据
  4. 不支持配置了外部节点的内容
  5. 不支持导出任务进度

导入业务流程​

导入流程要求说明原型图及操作入口
上传导入文件
(用户操作)
两个系统的版本要求一致。导入后,系统会做文件合法性的校验。
文件校验内容:
1. 系统的版本校验
2. 文件是否为空
3. 文件后缀(当前仅支持 gz,tar,json,zip)
4. 数据结构合法性
1. 节点
1. 基础配置,必填项检查
2. 策略配置,Json数据合法性(预防手工修改)
2. 链路
1. 基础配置,校验相关节点是否存在
2. 数据映射,json数据是否合法
3. 字段映射
4. 策略配置
3. 任务
1. 基础配置,相关数据链路是否存在
2. 数据映射,json 数据是否合法,检验数据映射在链路中是否存在
3. 资源配置,资源组是否存在
4. 策略配置,检查各项策略配置json数据是否合法
系统设置-配置迁移-配置导入
权限:要求管理员用户才可以使用
节点选择配置如果导入的同名节点希望使用文件中的配置,需要该同名节点状态为挂起。参考上面业务流程。
这里主要完成的是,通过勾选,选择导入哪些节点。

对于文件中的节点,进入到被导入系统后,会存在三种情况:
1. 该名称在被导入系统中不存在(状态标记为「新增」)
2. 该名称在被导入系统中存在,且节点类型相同(状态标记为「同名冲突」)
3. 该名称在被导入系统中存在,但节点类型不同(状态标记为「同名冲突」)(导入会报错)
以下统一用A表示文件里的对象或者配置,B表示待导入系统里的对象或者配置

如果勾选,意味着选中节点名称对应的对象希望在被导入系统存在。
1. 此时如果状态是新增, 那么将在被导入系统中创建该节点。(A)
2. 此时如果状态是同名冲突,则会采用文件中的节点配置覆盖原同名节点的配置(A)
如果不勾选,意味着不希望导入该节点配置,
1. 此时如果状态是新增, 那么将不会在被导入系统中导入该节点
2. 此时如果状态是同名冲突,则会采用被导入的节点配置。(B)

其他说明
1. 支持批量选择节点
2. 支持只展示有变更配置的节点及配置

已知问题:kafka
链路选择配置如果导入的同名链路希望使用文件中的配置,需要该同名链路状态为挂起。参考上面业务流程。
这里主要完成的是,通过勾选,选择导入哪些链路。

对于文件中的链路,进入到被导入系统后,会存在两种大情况:
1. 该名称在被导入系统中不存在(状态标记为「新增」)
2. 该名称在被导入系统中存在(状态标记为「同名冲突」)
对于数据链路来说,除了链路的配置外,还有一个数据映射和数据表的数据对象需要处理。
注意:同名的判断--源表-目的地表的映射
无论是源还是目的地的实体,按照实体在数据节点的存储结构判断。(示例:节点-database-schema-表名)

如果勾选,意味着选中链路的名称对应的对象,希望在被导入系统存在
1. 此时如果状态是新增, 那么将在被导入系统中创建该链路。(A)
2. 此时如果状态是同名冲突,则对于链路有两种类型需要处理
1. 链路的配置(基本配置,策略配置)--执行覆盖逻辑,即以导入的配置为准(A)
2. 链路里的新的对象-数据映射(表-表,表-空),字段映射(字段-字段,字段-空,空-字段)
1. 更新映射(A+B),因为是A+B,所以可以进行勾选对象选择。
2. 覆盖映射(A)
如果不勾选,意味着不希望导入该链路配置
1. 此时如果状态是新增, 那么将不会在被导入系统中导入该链路配置
2. 此时如果状态是同名冲突,则会采用被导入的链路配置。(B)

约束限制:
1. 实体(表)映射
1. 导入后映射不能存在多张相同源表(当前dp产品的限制)
2. 字段映射
1. 导入后字段映射不能存在多个源字段写入相同目的地字段
2. 导入后字段映射不能存在相同源字段写入不同目的地字段
任务选中配置如果导入的同名任务希望使用文件中的配置,需要该同名任务状态为挂起。导入任务流程同链路。
参考上面业务流程。
这里主要完成的是,通过勾选,选择导入哪些任务。

对于文件中的任务,进入到被导入系统后,会存在两种大情况:
1. 该名称在被导入系统中不存在(状态标记为「新增」)
2. 该名称在被导入系统中存在(状态标记为「同名冲突」)
对于数据任务来说,除了任务的配置外,同样需要处理数据映射。

如果勾选,意味着选中任务的名称对应的对象,希望在被导入系统存在
1. 此时如果状态是新增, 那么将在被导入系统中创建该任务。(A)
2. 此时如果状态是同名冲突,则对于任务有两种类型需要处理
1. 链路的配置(基本配置,策略配置,限制配置)–执行覆盖逻辑,即以导入的配置为准(A)
1. 注意资源组也是一个新的对象,此时如果名称匹配上,则使用该资源组
2. 如果资源组未匹配上,则使用默认资源组
2. 任务里的新的对象-数据映射(表-表),字段映射(字段-字段,字段-空,空-字段)
1. 更新映射(A+B),因为是A+B,所以可以进行勾选对象选择。
2. 覆盖映射(A)
如果不勾选,意味着不希望导入该任务配置
1. 此时如果状态是新增, 那么将不会在被导入系统中导入该任务配置
2. 此时如果状态是同名冲突,则会采用被导入的任务配置。(B)
说明在DP的数据模型中,链路和任务里的映射是两个。


核心底层是表,所以如果一个表出现在不同的映射里,然后任务的映射又是参考了链路的映射。而且当前因为链路的映射又要去和任务的映射强一致。因此此时会一起更新,避免产生数据不一致的情况。
完备性检查通过上述工作完成,导入对象的筛选。然后进行完备性检查检查内容:
数据任务,数据链路,数据节点以及关联关系的检查。
+ 节点,链路,任务的状态(前面判断时,可能挂起,但是导入时被打开)
+ 节点,链路,任务的完备性检查
+ 关联关系是否完备
- 任务:关联节点,关联链路;
- 链路:关联节点,关联任务;
- 节点:关联链路,关联任务。
+ 链路和任务因为是分别选择,可能会存在部分选择冲突或者缺失的情况

反馈结果:
对于校验失败的,可以通过反选,取消该问题内容的导入。
执行导入导入失败
导入警告:
+ 数据节点
- 可用性检验节点是否通过
- API 节点缺少外部赋值节点
+ 数据链路
- 数据映射数据实体不存在
- 字段映射字段不存在
+ 数据任务
- 任务映射丢失
- 数据映射数据实体不存在
- 字段映射字段不存在
- 批量完成标识外部节点不存在
- 缺失任务资源组
记录日志。
+ 记录系统日志,日志格式为:
- ${user} 在 ${date} 执行导入,数据任务:task1, 数据链路: link1, link2, 数据节点: node1, node2 查看导入过程
- 查看导入过程为导入报告界面,点击查看导入过程后弹出窗口执行导入列表界面
导入结果通过日志查询导入结果

导入数据对象​

因为DP整体是配置化的方式进行开发数据任务,因此导入数据对象,本质是通过导入的方式创建或者更新对象的配置信息。

因此导入时,需要校验的内容是对象的合法性和关联对象的合法性。

所以在导入过程中,大多数的工作均在对于对象的配置进行处理,这里包含了创建新的对象和对于已有对象的更新。

导入状态机​

文件替换工具​

使用限制​

如果测试环境是一个库对应生产环境的不同库,需要分开两次导入,并做分别的替换。

​

​