版本:v4.19
日志策略
日志策略是指任务配置变更时,任务报错信息以日志形式记录,方便用户查询的策略。
关于此功能
DataPipeline 会收集并记录数据链路的配置变更、状态变更等信息,持久化于系统内部 Elasticsearch 节点,并提供日志页面查看功能。
操作步骤
- 点击策略配置按钮进入策略配置 tab;
- 检查日志数据回收时间是否合理,并更新配置;
- 选择是否输出日志文件至服务器目录;
- 指定日志输出文件的字段分隔符,系统默认为制表符(/t)。
信息
- 为了避免日志数据占用存储过大导致的系统稳定性问题,DataPipeline 默认日志数据回收时间为 30 天,请谨慎配置日志回收时间,对于重要数据链路,请将日志数据回收时间拉长,并为 ES 节点所在服务器提供更大的存储空间,以免数据被回收后查找不便。
- 数据链路中会显示关联数据任务的日志。
- 如您选择日志输出至系统 webservice 组件宿主机目录,您可使用外部日志采集工具(如 ELK),统一采集并管理日志;当 DataPipeline 为多节点高可用部署模式时,多个 webservice 可能会在不同的宿主机中产生多份日志,多份日志需要合并处理。