跳到主要内容
版本:v5.4

项目分组

关于此功能​

项目分组是一个管理概念,往往在企业内部会根据职能或者业务范围对节点进行分组,并且进行授权。方便用户可以快速的查看到自己有权限的节点。

对于该功能有几部分的处理:

  • 取消了项目上的权限,项目对于所有的用户均可见。项目里的节点上的权限决定用户是否可以看到。
  • 对于项目的操作,增加了创建,编辑,删除三个操作,这三个权限仅管理员可以操作。这将更加贴合企业内部管理的场景。
  • 项目组,增加默认分组设置。节点在创建时,可以选择项目组,这样更加直观。而不是靠原有的默认逻辑,在哪里创建就在哪个分组里。降低了用户的使用门槛。
  • 如果删除了某个分组,该分组里的节点将自动移动到默认分组里,如果删除的分组就是默认分组,则转到系统创建的未分组里。
  • 优化了移动分组功能。在列表页支持移动,并且将功能显性展示。

操作步骤​

列表页增加了分组的展示以及分组的操作。

创建新的节点时,增加了项目组的设置。并且默认值为默认分组。

添加数据节点

关于此功能​

新增数据节点的时候,您需要配置节点的基本信息,包括数据节点,定义节点的名称、描述、类型以及该类型节点的连接配置项等信息。点击新建节点弹窗的顶端「查看配置规则」可以查看不同数据节点的配置要求,包括数据节点的版本要求、权限要求和其他要求。

操作步骤​

1.在数据节点列表页点击「添加节点」按钮,弹出数据节点创建弹窗。首先配置数据节点的名称、描述和类型。

  • 名称:是该节点在系统的唯一标识,要求全局唯一。即对于用户,可能会出现创建节点名称重名,但是自己却不可见的情况
  • 描述:您可添加描述信息,例如描述节点功能便于使用。
  • 类型:在已支持的数据节点类型中选择,支持的数据节点类型与版本详见1.2 支持的数据源与数据目的地 。
  1. 当用户选择数据节点类型之后,我们会根据用户选择的不同类型数据节点显示不同的配置模板。详细配置请参考各个节点的配置说明。

3.配置完相关类型节点的连接配置项之后,点击「保存」按钮,跳转到该数据节点详情界面。

可用性校验

关于此功能​

可用性校验提供数据库连接校验和权限校验的功能。您可以通过可用性校验同时实现连接验证和权限验证,即同时测试数据库能否连接成功以及数据库权限校验是否通过,以获得支持/可用的连接模式信息(读取模式+写入模式统称)。

操作步骤​

  1. 您可以在节点的基本配置中点击「可用性校验」按钮进行可用性校验。校验结果将记入日志。
  2. 校验将先检测数据库连接情况。数据库连接成功后,进入权限验证;数据库如连接失败,将提示您数据库连接失败,不进入权限验证。 当校验时间超过 3 分钟,将以弹窗形式提示您「节点可用性校验超时,请重新操作。」校验结果除了「超时」的状态以外均用右上角提示窗展示。
  3. 可用性校验后,连接模式将显示哪些读取模式和写入模式可用。
  4. 您也可以在完成节点基本配置后,通过保存后的提示弹窗进行上述可用性校验流程。(如果您在配置节点后已进行了可用性校验,后立即保存,将不弹出是否进行可用性校验提示弹窗。)

◎ 连接验证

  • 数据库连接验证失败的两种情况:
    • 节点未找到服务器,请检查服务器地址和端口或用户名
    • 节点用户名或密码输入有误,请重新输入

◎ 权限验证

  • 权限验证失败的两种情况:
    • 执行 SQL 语句失败,权限验证失败
    • 执行 SQL 语句成功,权限缺失,权限验证失败

注意事项​

  • 未通过可用性校验的节点可以被数据映射选择。
  • 在数据任务里配置读取方式时,未进行或未通过可用性校验的节点在运行任务中可能会报错,请您谨慎选择。
  • 节点状态并非一个实时的状态,展示的是上一次校验的结果,因此如果修改了节点的连接配置,需要重新进行校验

修改数据节点

关于此功能​

编辑数据节点是指修改已存在的数据节点的配置内容,您可以对数据节点的名称、描述以及每种节点类型对应的连接参数进行修改,您也可以修改节点的策略配置,保证数据任务稳定运行。

信息

在当前版本中,修改节点将不会返回密码,修改节点需重新输入密码才可保存。目的是为了保证节点密码安全性,防止密码外泄

操作步骤​

◎ 编辑节点的名称和描述

  1. 点击数据节点列表 → 查看详情,进入数据节点详情界面。
  2. 点击页面顶部节点名称旁边的「编辑」按钮,弹出编辑弹窗,可以修改节点的名称和描述。
  3. 编辑完节点名称和描述,点击弹窗右下角「保存」按钮即应用配置信息并下发到节点的相关映射和相关任务。

◎ 编辑节点的连接配置信息

  1. 点击数据节点列表 → 查看详情,进入数据节点详情界面。
  2. 点击页面底部基本配置信息模块右上角「编辑」,弹出编辑弹窗,可以修改每种节点类型对应的连接参数。
    1. 注:如果该数据节点有相关数据任务正在运行中,则无法编辑数据节点的连接配置信息。
  3. 修改配置信息后,您可以点击弹窗左下角的「连接验证」检查当前页面修改的配置信息是否能连接成功。
  4. 点击「保存」即应用配置信息并下发到节点的相关数据映射和相关数据任务

◎ 编辑节点的权限

  1. 点击数据节点列表 → 查看详情,进入数据节点详情界面。
  2. 点击「成员配置」,可分别对「开发者」和「只读者」进行配置修改
    1. 添加/删除参与人(用户或组)
信息

开发者权限说明:开发者拥有最高权限;开发者可以添加、删除其他成员的权限

只读者权限说明:只读者只拥有查看权限;对系统配置无操作权限

注意事项​

警告
  • 初次配置数据节点的时候您需要慎重选择数据节点的类型,选择完成保存后,系统将不允许修改数据节点的类型。
  • 如果该数据节点有相关任务正在运行中,则无法编辑数据节点的名称和描述,如果想要编辑该节点,您需要先暂停与节点相关的数据任务。
  • 权限说明:
    • 用户与用户组权限共存时取最大权限,查看与编辑权限共存时取编辑权限,如下表所示:
    • 将下表中用户与组权限对调,实际权限结果是一样的
权限情况用户组实际权限
情况1编辑编辑编辑
情况2查看编辑编辑
情况3无编辑编辑
情况4无查看查看

启用数据节点

数据节点有「启用」和「禁用」两个状态,用户可以自定义管理节点状态。启用数据节点指在系统管理节点状态的层级将数据节点状态由「禁用」变为「启用」,启用后的数据节点可被映射选择。

关于此功能​

  • 当节点状态为禁用时,可点击【启用】按钮,更改节点状态为启用,并可在映射中应用选择该节点。
  • 若启用前存在相关任务,则需手动启动相关任务。

操作步骤​

  1. 点击数据节点列表或者数据节点详情页,点击启用数据节点开关,该节点状态更改为启用。

注意事项​

信息

启用数据节点是在系统管理层级上对节点的操作,启用数据节点后需要手动执行节点的连接和权限验证以提示用户,验证失败也不会影响启用节点,但会影响数据任务实际运行。

禁用数据节点

数据节点有「启用」和「禁用」两个状态,用户可以自定义管理节点状态。禁用数据节点指在系统管理节点状态的层级将数据节点状态由「启用」变为「禁用」,禁用后的数据节点在管理上呈现不可用状态。

关于此功能​

禁用数据节点会同时暂停节点相关的数据任务,禁用节点后,节点的相关数据任务也被暂停,并且不可被激活。

操作步骤​

  1. 点击数据节点列表或者数据节点详情页,点击禁用数据节点开关。
  2. 弹出禁用确认弹窗,显示节点相关的数据任务。
  3. 禁用数据节点将会同步暂停节点相关数据任务。
  4. 点击「禁用」后将会暂停相关数据任务。
  5. 系统会异步执行禁用相关数据任务的操作。

注意事项​

警告
  • 禁用数据节点后,相关数据任务将被异步暂停,故可能出现暂停任务失败的情况;未成功暂停的任务将会继续运行,直到您手动将其暂停。

删除数据节点

关于此功能​

删除数据节点指将已经配置好的数据节点删除,删除后将不可恢复。

操作步骤​

  1. 点击数据节点列表界面,操作列有「删除」按钮,您也可以勾选节点进行批量删除操作。
  2. 当数据节点有相关数据任务或为启用状态时,无法删除该节点,「删除」按钮置灰,勾选按钮置灰。此时,您需要在数据节点详情界面找到数据节点的相关映射,并且删除相关任务之后,并且停用该节点,才能删除该数据节点。
  3. 如果「删除」按钮是可点状态,点击「删除」按钮弹出二次确认提示,在二次确认窗口点击删除,及删除数据节点。

注意事项​

危险
  • 当数据节点有相关数据映射时,无法删除该节点,如果想要删除该节点,需要先删除该节点的相关数据映射。
  • 已被删除的数据节点不可恢复。

查看节点日志

关于此功能​

DataPipeline 会收集并记录数据节点的配置变更、状态变更、可用性校验结果等信息,持久化于系统内部 Elasticsearch 节点,并提供日志页面查看功能。

操作步骤​

  1. 在数据节点详情页面,点击日志进入日志查看页面
  2. 通过时间、日志级别、日志业务分类对日志进行筛选 查看日志
    1. 筛选选项可选任一、所有条件满足,逻辑等同于 SQL 查询条件中的 OR、AND
  3. 查看日志。
  4. 如您需要下载日志,点击下载,即可获得文本格式日志数据。