版本:v4.20
系统日志管理
关于此功能
DataPipeline 会收集并记录数据系统设置的的配置变更、权限变更、系统报错、用户登录登出等信息,持久化于系统内部 Elasticsearch 节点,并提供日志页面查看、审计功能。
操作步骤
- 在系统配置页面,点击日志配置进入日志配置页面;
- 检查日志数据回收时间是否合理,并更新配置;
- 选择是否输出日志文件至服务器目录;
- 指定日志输出文件的字段分隔符,系统默认为制表符(/t)。
注意事项
警告
- 为了避免日志数据占用存储过大导致的系统稳定性问题,DataPipeline 默认日志数据回收时间为 30 天,请谨慎配置日志回收时间,对于重要数据链路,请将日志数据回收时间拉长,并为 ES 节点所在服务器提供更大的存储空间,以免数据被回收后查找不便;
- 如您选择日志输出至系统 webservice 组件宿主机目录,您可使用外部日志采集工具(如 ELK),统一采集并管理日志;当 DataPipeline 为多节点高可用部署模式时,多个 webservice 可能会在不同的宿主机中产生多份日志,多份日志需要合并处理。
系统日志查看
关于此功能
DataPipeline 系统日志功能会收集并记录系统报错、高风险操作、系统配置变更、系统用户登录登出、操作审计日志,持久化于系统内部的 Elasticsearch 节点,并提供日志页面查看、筛选、下载、审计功能。\ 同时支持用户下载所需日志操作,您可以在「系统设置-日志管理」中下载所需的日志内容。
操作步骤
- 在系统配置页面,点击日志查看进入日志查看页面;
- 通过时间、日志级别、日志业务分类对日志进行筛选;
- 筛选选项可选任一、所有条件满足,逻辑等同于 SQL 查询条件中的 OR、AND
- 查看日志。
- 如您需要下载日志,点击下载,即可获得文本格式日志数据。
注意事项:
操作审计日志在 ”日志类型/业务“ 筛选项为全部时,默认不展示。若需要查看操作审计日志,需要选择对应的筛选项。
日志配置
关于此功能
在实际的使用场景中,DataPipeline 系统会对接其他的日志系统,根据日志级别来做预警。用户期望根据业务需要,灵活调整日志级别,以便于减少无效预警。
适用于以下场景:
- 用户需要对任务、链路、节点及系统日志的日志级别进行调整
- 用户需要对某些特定报错的日志级别进行调整
操作步骤
- 管理员用户登录 DataPipeline 系统;
- 切换至系统设置 → 日志管理 → 日志配置;
- 您可以对已有日志修改日志级别,在日志配置页直接将日志级别修改为您预期的结果
- 您可以对特定报错,自定义其日志级别
- 点击「添加」
- 选择模块类别、日志业务类型
- 添加一个或多个关键字,多个关键字之间为“和”的关系
- 选择日志级别
- 保存
- 修改完成后,实际打印日志的日志级别将与您的设置一致
关联日志查询(功能下线)
提示
由于该功能需要依赖logstash组件,而随着安全漏洞扫描,该组件存在较多的安全隐患,因此该功能在V4.19版本开始正式下线。
关于此功能
关联日志查询功能支持查询DP核心组件connecor和manager中的日志,您可以根据时间和关键字来筛选日志。仅管理员有此权限。
操作步骤
方式一:从任务跳转至关联日志查询
- 在数据任务→ 任务详情页→ 日志tab页下的关联日志列,点击「查询」
- 打开新的页面至系统设置→ 日志管理→ 关联日志查询页面。默认跳转tab为connector,默认预置的时间条件为最近5分钟,关键字为dptask_12,其中12为任务ID
- 修改查询条件,以便查看您关心的日志
方式二:直接打开关联日志查询页
- 打开系统设置→ 日志管理→ 关联日志查询页面
- 输入查询条件,以便查看您关心的日志
注意事项
仅管理员有关联日志查询功能的使用权限
输入多个查询条件时,需用英文逗号分隔