跳到主要内容
版本:v5.1

日志配置

关于此功能​

在实际的使用场景中,DataPipeline 系统会对接其他的日志系统,根据日志级别来做预警。用户期望根据业务需要,灵活调整日志级别,以便于减少无效预警。

适用于以下场景:

  1. 用户需要对任务、链路、节点及系统日志的日志级别进行调整
  2. 用户需要对某些特定报错的日志级别进行调整

操作步骤​

  • 管理员用户登录 DataPipeline 系统;
  • 切换至系统设置 → 日志管理 → 日志配置;
  • 您可以对已有日志修改日志级别,在日志配置页直接将日志级别修改为您预期的结果
  • 您可以对特定报错,自定义其日志级别
    • 点击「添加」
    • 选择模块类别、日志业务类型
    • 添加一个或多个关键字,多个关键字之间为“和”的关系
    • 选择日志级别
    • 保存
  • 修改完成后,实际打印日志的日志级别将与您的设置一致

系统日志策略

关于此功能​

日志包括报错日志、高风险操作日志、配置变更日志、登录审计日志等,可对这些日志进行回收时间、是否输出以及日志文件分隔符进行配置。

操作步骤​

  1. 在系统配置页面,点击「系统日志策略」进入日志策略配置页面;
  2. 日志存储回收时间配置:
    1. 输入回收天数,当日志保留天数达到该数值后,将会进行回收;
  3. 日志文件输出:
    1. 可选择「不输出日志文件」
    2. 可选择「输出至网络服务组件宿主机文件目录」
  4. 日志文件输出分隔符:
    1. | 竖线;
    2. \t 水平制表符;
    3. 自定义分隔符;
  5. 修改后点击「应用配置」,配置生效

系统日志查看

关于此功能​

DataPipeline 系统日志功能会收集并记录系统报错、高风险操作、系统配置变更、系统用户登录登出、操作审计日志,持久化于系统内部的 Elasticsearch 节点,并提供日志页面查看、筛选、下载、审计功能。\ 同时支持用户下载所需日志操作,您可以在「系统设置-日志管理」中下载所需的日志内容。

操作步骤​

  1. 在系统配置页面,点击日志查看进入日志查看页面;
  2. 通过时间、日志级别、日志业务分类对日志进行筛选;
    1. 筛选选项可选任一、所有条件满足,逻辑等同于 SQL 查询条件中的 OR、AND
  3. 查看日志。
  4. 如您需要下载日志,点击下载,即可获得文本格式日志数据。

注意事项:​

操作审计日志在 ”日志类型/业务“ 筛选项为全部时,默认不展示。若需要查看操作审计日志,需要选择对应的筛选项。