项目分组
关于此功能
项目分组是一个管理概念,往往在企业内部会根据职能或者业务范围对节点进行分组,并且进行授权。方便用户可以快速的查看到自己有权限的节点。
对于该功能有几部分的处理:
- 取消了项目上的权限,项目对于所有的用户均可见。项目里的节点上的权限决定用户是否可以看到。
- 对于项目的操作,增加了创建,编辑,删除三个操作,这三个权限仅管理员可以操作。这将更加贴合企业内部管理的场景。
- 项目组,增加默认分组设置。节点在创建时,可以选择项目组,这样更加直观。而不是靠原有的默认逻辑,在哪里创建就在哪个分组里。降低了用户的使用门槛。
- 如果删除了某个分组,该分组里的节点将自动移动到默认分组里,如果删除的分组就是默认分组,则转到系统创建的未分组里。
- 优化了移动分组功能。在卡片和列表页均支持移动,并且将功能显性展示。
操作步骤
列表及卡片页均增加了分组的展示以及分组的操作。
创建新的节点时,增加了项目组的设置。并且默认值为默认分组。
添加数据节点
关于此功能
新增数据节点的时候,您需要配置节点的基本信息,包括数据节点,定义节点的名称、描述、类型以及该类型节点的连接配置项等信息。点击新建节点弹窗的顶端「查看配置规则」可以查看不同数据节点的配置要求,包括数据节点的版本要求、权限要求和其他要求。
操作步骤
1.在数据节点列表页点击「添加节点」按钮,弹出数据节点创建弹窗。首先配置数据节点的名称、描述和类型。
- 名称:是该节点在系统的唯一标识,要求全局唯一。即对于用户,可能会出现创建节点名称重名,但是自己却不可见的情况
- 描述:您可添加描述信息,例如描述节点功能便于使用。
- 类型:在已支持的数据节点类型中选择,支持的数据节点类型与版本详见1.2 支持的数据源与数据目的地 。
- 当用户选择数据节点类型之后,我们会根据用户选择的不同类型数据节点显示不同的配置模板。详细配置请参考各个节点的配置说明。
3.配置完相关类型节点的连接配置项之后,点击「保存」按钮,跳转到该数据节点详情界面。
可用性校验
关于此功能
可用性校验提供数据库连接校验和权限校验的功能。您可以通过可用性校验同时实现连接验证和权限验证,即同时测试数据库能否连接成功以及数据库权限校验是否通过,以获得支持/可用的连接模式信息(读取模式+写入模式统称)。

操作步骤
- 您可以在节点的基本配置中点击「可用性校验」按钮进行可用性校验。校验结果将记入日志。
- 校验将先检测数据库连接情况。数据库连接成功后,进入权限验证;数据库如连接失败,将提示您数据库连接失败,不进入权限验证。 当校验时间超过 3 分钟,将以弹窗形式提示您「节点可用性校验超时,请重新操作。」校验结果除了「超时」的状态以外均用右上角提示窗展示。
- 可用性校验后,连接模式将显示哪些读取模式和写入模式可用。
- 您也可以在完成节点基本配置后,通过保存后的提示弹窗进行上述可用性校验流程。(如果您在配置节点后已进行了可用性校验,后立即保存,将不弹出是否进行可用性校验提示弹窗。)
◎ 连接验证
- 数据库连接验证失败的两种情况:
- 节点未找到服务器,请检查服务器地址和端口或用户名
- 节点用户名或密码输入有误,请重新输入
◎ 权限验证
- 权限验证失败的两种情况:
- 执行 SQL 语句失败,权限验证失败
- 执行 SQL 语句成功,权限缺失,权限验证失败
注意事项
- 未通过可用性校验的节点可以被链路选择。
- 在数据链路里配置读取方式时,未进行或未通过可用性校验的节点在运行任务中可能会报错,请您谨慎选择。
- 节点状态并非一个实时的状态,展示的是上一次校验的结果,因此如果修改了节点的连接配置,需要重新进行校验
修改数据节点
关于此功能
编辑数据节点是指修改已存在的数据节点的配置内容,您可以对数据节点的名称、描述以及每种节点类型对应的连接参数进行修改,您也可以修改节点的策略配置,保证数据任务稳定运行。
在当前版本中,修改节点将不会返回密码,修改节点需重新输入密码才可保存。目的是为了保证节点密码安全性,防止密码外泄
操作步骤
◎ 编辑节点的名称和描述
- 点击数据节点列表 → 查看详情,进入数据节点详情界面。
- 点击页面顶部节点名称旁边的「编辑」按钮,弹出编辑弹窗,可以修改节点的名称和描述。
- 编辑完节点名称和描述,点击弹窗右下角「保存」按钮即应用配置信息并下发到节点的相关链路和相关任务。
◎ 编辑节点的连接配置信息
- 点击数据节点列表 → 查看详情,进入数据节点详情界面。
- 点击页面底部基本配置信息模块右上角「编辑」,弹出编辑弹窗,可以修改每种节点类型对应的连接参数。
- 注:如果该数据节点有相关数据任务正在运行中,则无法编辑数据节点的连接配置信息。
- 修改配置信息后,您可以点击弹窗左下角的「连接验证」检查当前页面修改的配置信息是否能连接成功。
- 点击「保存」即应用配置信息并下发到节点的相关数据链路和相关数据任务
◎ 编辑链路的权限
- 点击数据节点列表 → 查看详情,进入数据节点详情界面。
- 在顶部节点信息的参与人
- 添加/删除参与人(用户或组)
- 支持设置编辑和查看权限
注意事项
- 初次配置数据节点的时候您需要慎重选择数据节点的类型,选择完成保存后,系统将不允许修改数据节点的类型。
- 如果该数据节点有相关任务正在运行中,则无法编辑数据节点的名称和描述,如果想要编辑该节点,您需要先暂停与节点相关的数据任务。
- 权限说明:
- 用户与用户组权限共存时取最大权限,查看与编辑权限共存时取编辑权限,如下表所示:
- 将下表中用户与组权限对调,实际权限结果是一样的
| 权限情况 | 用户 | 组 | 实际权限 |
|---|---|---|---|
| 情况1 | 编辑 | 编辑 | 编辑 |
| 情况2 | 查看 | 编辑 | 编辑 |
| 情况3 | 无 | 编辑 | 编辑 |
| 情况4 | 无 | 查看 | 查看 |
激活数据节点
数据节点有「活动」和「挂起」两个状态,用户可以自定义管理节点状态。激活数据节点指在系统管理节点状态的层级将数据节点状态由「挂起」变为「活动」,激活后的数据节点可被链路选择。
关于此功能
激活数据节点需要数据节点状态为挂起,当您激活数据节点,系统将会提示您节点的相关数据链路和相关数据任务也可被激活。
操作步骤
- 点击数据节点列表或者数据节点详情页,点击激活数据节点开关。
- 弹出激活确认弹窗,显示节点的相关数据链路和数据任务也可被激活提示以及连接和权限验证结果。
- 点击确定即激活该数据链路。
注意事项
激活数据节点是在系统管理层级上对节点的操作,激活数据节点会做节点的连接和权限验证以提示用户,验证失败也不会影响激活节点,但会影响数据任务实际运行。
挂起数据节点
数据节点有「活动」和「挂起」两个状态,用户可以自定义管理节点状态。挂起数据节点指在系统管理节点状态的层级将数据节点状态由「活动」变为「挂起」,挂起后的数据链路在管理上呈现不可用状态。
关于此功能
挂起数据节点会同时挂起节点相关的数据链路和数据任务,挂起节点后,节点的相关数据链路和相关数据任务也被挂起,并且不可被激活。
操作步骤
- 点击数据节点列表或者数据节点详情页,点击挂起数据节点开关。
- 弹出挂起确认弹窗,显示节点相关的数据链路和数据任务。
- 挂起数据节点将会同步挂起节点相关数据链路和数据任务。
- 点击「挂起」即挂起数据链路。
- 系统会异步执行挂起相关数据链路和数据任务的操作。
注意事项
- 挂起数据节点后,相关数据链路和相关数据任务将被异步挂起,故可能出现挂起任务失败的情况;未成功挂起的任务将会继续运行,直到您手动将其暂停。
删除数据节点
关于此功能
删除数据节点指将已经配置好的数据节点删除,删除后将不可恢复。
操作步骤
- 点击数据节点列表界面,每一个数据节点的右侧有「删除」按钮,您也可以勾选节点进行批量删除操作。
- 当数据节点有相关数据任务和相关数据链路时,无法删除该节点,「删除」按钮置灰,勾选按钮置灰。此时,您需要在数据节点详情界面找到数据节点的相关任务以及相关链路,并且删除相关任务、相关链路之后,才能删除该数据节点。
- 如果「删除」按钮是可点状态,点击「删除」按钮弹出二次确认提示,在二次确认窗口点击删除,及删除数据节点。
注意事项
- 当数据节点有相关数据任务和相关数据链路时,无法删除该节点,如果想要删除该节点,需要先删除该节点的相关数据任务和相关数据链路。
- 已被删除的数据节点不可恢复。
查看节点日志
关于此功能
DataPipeline 会收集并记录数据节点的配置变更、状态变更、可用性校验结果等信息,持久化于系统内部 Elasticsearch 节点,并提供日志页面查看功能。
操作步骤
- 在数据链路详情页面,点击日志进入日志查看页面
- 通过时间、日志级别、日志业务分类对日志进行筛选 查看日志
- 筛选选项可选任一、所有条件满足,逻辑等同于 SQL 查询条件中的 OR、AND
- 查看日志。
- 如您需要下载日志,点击下载,即可获得文本格式日志数据。