集中式日志记录与安全一样,是IT基础架构包括web APP应用程序和硬件设备)中核心资源监控和健康管理的基本方面。 能干的运输团队可以建立日志监控和管理系统,以应对系统故障和APP应用程序的奇怪行为。
为什么日志记录这么重要? 如果系统崩溃或APP应用程序出现故障,则可能需要了解问题的真相并确定故障的原因。 日志文件记录系统活动,并详细了解可能的错误来源及其后续故障。 它们提供了一系列详细的事件,包括原因或导致事件的详细时间戳。
系统的诊断和恢复从检查系统日志开始。 通过分析日志文件,操作小组可以找到可疑活动的证据,如非法登录安全漏洞。 这有助于数据库管理员调整数据库以获得最佳性能,帮助开发人员解决APP应用问题,以及编写更好的代码。
集中式日志记录可能很容易从一台或两台服务器管理和分析日志文件。 但是,拥有几十台服务器的企业环境很痛苦。 因此,建议使用集中日志记录。 集中式日志记录将所有系统的日志文件整合到一个专用服务器上,从而简化日志管理。 这样可以节省登录和分析每个系统的日志文件的时间和精力。
本指南为Linux提供了最明显的开源集中式日志管理系统。
1.elastic堆栈elasticstack ) elastic堆栈ELK )通常简称为ELK,是一种三位一体的常规日志集中、分析、分析和日志,将来自多个服务器的大量数据和日志集中在一台服务器上
ELK堆栈有三种不同的产品:
LogstashLogstash是一个免费的开源数据管道,用于收集日志和事件数据,处理数据并将其转换为所需的输出。 使用称为” beats “的代理从远程服务器发送到logstash。 beats将大量的系统指标和日志发送到Logstash,处理它们。 然后将数据发送到电子搜索。
http://www.Sina.com/elastic search构建在Apache Lucene上,是一个开源和分布式搜索/分析引擎,几乎支持所有类型的数据,包括结构化和非结构化数据。 例如,文本、数字和地理数据。
2010年首次发布。 Elasticsearch是ELK堆栈的核心组件,以速度、可扩展性和REST API而闻名。 存储、索引和分析从Logstash传递的大量数据。
Elasticsearch数据最终传递给Kibana。 这是一个WebUI可视化平台,与Elasticsearch一起工作。 使用Kibana,可以通过灵活的搜索浏览时间序列数据和日志进行可视化。 将数据和日志可视化到采用多种格式的直观面板中,包括条形图、饼图和直方图。
2.Graylog Graylog是一个功能强大的集中式日志管理工具,同时提供开源和企业程序。 它接收多个节点上安装的客户端的数据,并提供基于Web界面的仪表板可视化数据,如Kibana。
Graylogs在使用者对web APP应用程式的业务决策中扮演着重要的角色。 收集有关应用行为的重要分析,并可视化各种图表如条形图、饼图和直方图)中的数据。 收集的数据为重要的业务决策提供信息。
例如,您可以确定客户使用web APP应用程序订购的xjyz时间。 有了这样的见解,管理层可以做出明智的业务决策,增加收入。
与Elastic Search不同,Graylog在数据收集、分析和可视化方面提供了单一的APP应用程序解决方案。 不需要安装多个组件。 与ELK堆栈不同,必须单独安装一个组件。 Graylog通过MongoDB收集和存储数据,并展示在易于使用、直观的仪表板上。
Graylog在部署APP应用程序的各个阶段都被开发人员广泛使用,用于跟踪web APP应用程序的状态,并获取请求时间和错误等信息。 这有助于他们修改代码并提高性能。
3.Fluentd Fluentd由c编写,是一个跨平台和开源日志监视工具,用于统一来自多个数据源的日志和数据收集。 完全开源,在Apache 2.0许可证下获得许可证。 另外,还有面向企业的订阅模式。
Fluentd的结构化数据集和半结构化数据集。 已对APP应用程序日志、事件日志和单击流进行了修订,使其成为日志输入和不同类型输出之间的统一层。
通过以JSON格式结构化数据,可以无缝集成数据记录的各个方面,包括跨多个节点的日志收集、过滤、分析和输出。
Fluentd节省空间,对资源友好,因此无需担心内存不足和CPU的过度使用。 它还具有灵活的插件体系结构,使用户能够利用在500多个社区中开发的插件来扩展功能。
4.LOGalyze LOGalyze是一个功能强大的网络监视和日志管理工具,可从网络设备、Linux和Windows主机收集和分析日志。 一开始是商业性的,但现在完全免费下载安装没有限制。
LOGalyze非常适合分析服务器和APP应用程序日志,并以多种报告格式显示,如PDF、CSV和HTML。 它还提供广泛的搜索功能和跨多个节点服务的实时事件检测。
与上
述日志监控工具一样,LOGalyze还提供整洁简单的网络界面,允许用户登录和监控各种数据源并分析日志文件。
5.NXlog
NXlog是另一个功能强大且用途广泛的日志收集和集中的工具。它是一个多平台日志管理实用程序,专为发现策略违规、识别安全风险和分析系统、应用程序和服务器日志中的问题而定制。
NXlog能够以不同格式(包括 Syslog 和 Windows 事件日志)从多个终结点整理事件日志。它可以执行一系列与日志相关的任务,如日志轮换、日志重写。日志压缩,也可以配置为发送警报。
您可以下载NXlog的两个版本:社区版,这是免费下载和使用,和企业版是基于订阅的。
翻译来自
https://www.tecmint.com/open-source-centralized-linux-log-management-tools/amp/
作者:James Kiarie