跳到主要内容
版本:v4.17

系统日志管理

关于此功能​

DataPipeline 会收集并记录数据系统设置的的配置变更、权限变更、系统报错、用户登录登出等信息,持久化于系统内部 Elasticsearch 节点,并提供日志页面查看、审计功能。

操作步骤​

  1. 在系统配置页面,点击日志配置进入日志配置页面;
  2. 检查日志数据回收时间是否合理,并更新配置;
  3. 选择是否输出日志文件至服务器目录;
  4. 指定日志输出文件的字段分隔符,系统默认为制表符(/t)。

注意事项​

警告
  • 为了避免日志数据占用存储过大导致的系统稳定性问题,DataPipeline 默认日志数据回收时间为 30 天,请谨慎配置日志回收时间,对于重要数据链路,请将日志数据回收时间拉长,并为 ES 节点所在服务器提供更大的存储空间,以免数据被回收后查找不便;
  • 如您选择日志输出至系统 webservice 组件宿主机目录,您可使用外部日志采集工具(如 ELK),统一采集并管理日志;当 DataPipeline 为多节点高可用部署模式时,多个 webservice 可能会在不同的宿主机中产生多份日志,多份日志需要合并处理。

系统日志查看

关于此功能​

DataPipeline 系统日志功能会收集并记录系统报错、高风险操作、系统配置变更、系统用户登录登出、操作审计日志,持久化于系统内部的 Elasticsearch 节点,并提供日志页面查看、筛选、下载、审计功能。\ 同时支持用户下载所需日志操作,您可以在「系统设置-日志管理」中下载所需的日志内容。

操作步骤​

  1. 在系统配置页面,点击日志查看进入日志查看页面;
  2. 通过时间、日志级别、日志业务分类对日志进行筛选;
    1. 筛选选项可选任一、所有条件满足,逻辑等同于 SQL 查询条件中的 OR、AND
  3. 查看日志。
  4. 如您需要下载日志,点击下载,即可获得文本格式日志数据。

注意事项:​

操作审计日志在 ”日志类型/业务“ 筛选项为全部时,默认不展示。若需要查看操作审计日志,需要选择对应的筛选项。

日志配置

关于此功能​

在实际的使用场景中,DataPipeline 系统会对接其他的日志系统,根据日志级别来做预警。用户期望根据业务需要,灵活调整日志级别,以便于减少无效预警。

适用于以下场景:

  1. 用户需要对任务、链路、节点及系统日志的日志级别进行调整
  2. 用户需要对某些特定报错的日志级别进行调整

操作步骤​

  • 管理员用户登录 DataPipeline 系统;
  • 切换至系统设置 → 日志管理 → 日志配置;
  • 您可以对已有日志修改日志级别,在日志配置页直接将日志级别修改为您预期的结果
  • 您可以对特定报错,自定义其日志级别
    • 点击「添加」
    • 选择模块类别、日志业务类型
    • 添加一个或多个关键字,多个关键字之间为“和”的关系
    • 选择日志级别
    • 保存
  • 修改完成后,实际打印日志的日志级别将与您的设置一致

关联日志查询

关于此功能​

关联日志查询功能支持查询DP核心组件connecor和manager中的日志,您可以根据时间和关键字来筛选日志。仅管理员有此权限。


操作步骤​

方式一:从任务跳转至关联日志查询

  1. 在数据任务→ 任务详情页→ 日志tab页下的关联日志列,点击「查询」
  2. 打开新的页面至系统设置→ 日志管理→ 关联日志查询页面。默认跳转tab为connector,默认预置的时间条件为最近5分钟,关键字为dptask_12,其中12为任务ID
  3. 修改查询条件,以便查看您关心的日志

方式二:直接打开关联日志查询页

  1. 打开系统设置→ 日志管理→ 关联日志查询页面
  2. 输入查询条件,以便查看您关心的日志

注意事项​

  1. 仅管理员有关联日志查询功能的使用权限

  2. 输入多个查询条件时,需用英文逗号分隔