Logstash 7.11.1

Logstash是一个应用程序日志、事件的传输、处理、管理和搜索的平台，是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您*喜欢的“存储库”中。

功能介绍

　　输入、过滤器和输出

　　Logstash 能够动态地采集、转换和传输数据，不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构，从 IP 地址解码出地理坐标，匿名化或排除敏感字段，并简化整体处理过程。

　　输入

　　采集各种样式、大小和来源的数据

　　数据往往以各种各样的形式，或分散或集中地存在于很多系统中。Logstash 支持各种输入选择，可以同时从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

　　筛选

　　实时解析和转换数据

　　数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便进行更强大的分析和实现商业价值。

　　Logstash 能够动态地转换和解析数据，不受格式或复杂度的影响：

　　利用 Grok 从非结构化数据中派生出结构

　　从 IP 地址破译出地理坐标

　　将 PII 数据匿名化，完全排除敏感字段

　　简化整体处理，不受数据源、格式或架构的影响

　　使用我们丰富的过滤器库和功能多样的 Elastic Common Schema，您可以实现无限丰富的可能。

　　输出

　　选择您的存储库，导出您的数据

　　尽管 Elasticsearch 是我们的*输出方向，能够为我们的搜索和分析带来无限可能，但它并非*选择。

　　Logstash 提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例。

　　可扩展

　　以您自己的方式创建和配置管道

　　Logstash 采用可插拔框架，拥有 200 多个插件。您可以将不同的输入选择、过滤器和输出选择混合搭配、精心安排，让它们在管道中和谐地运行。

　　从自定义应用程序采集数据？没有看到所需的插件？Logstash 插件很容易构建。我们有一个极好的插件开发 API 和插件生成器，可帮助您开始创作并分享成果。

　　即插即用

　　使用 Elastic Stack 更快获得洞察

　　Logstash 模块通过热门的数据源（如 ArcSight 和 Netflow ）呈现瞬间可视化的体验。通过立即部署采集管道和复杂的仪表板，您在短短几分钟内便可开始数据探索。

　　可靠性与安全性

　　构建可信的交付管道

　　假如 Logstash 节点发生故障，Logstash 会通过持久化队列来保证至少将运行中的事件送达一次。那些未被正常处理的消息会被送往死信队列 (dead letter queue) 以便做进一步处理。由于具备了这种吸收吞吐量的能力，现在您无需采用额外的队列层，Logstash 就能平稳度过高峰期。此外，我们还能让您充分确保自己采集管道的安全性。

　　MONITORING

　　全方位监视您的部署

　　Logstash 管道通常服务于多种用途，会变得非常复杂，因此充分了解管道性能、可用性和瓶颈异常重要。借助监测和管道查看器功能，您可以轻松观察和研究处于活动状态的 Logstash 节点或整个部署。