Logstash官方版

Logstash简介

Logstash是一个数据处理引擎，最初用于收集日志。现在它有了丰富的功能，可以帮助用户从不同的来源收集数据，并将数据转换成你的。软件提供了多种配置方案，可以设置数据输入方式和数据输出存储方式，可以让您更轻松地管理随时间变化的配置更新。该软件功能丰富，可根据Logstash事件，根据预先配置的服务和升级策略，向天平动发送指标、评论和告警，并向Amazon Simple Storage Service发送Logstash事件，快速从多个终端采集数据，转换到指定的存储终端存储！

Logstash软件功能

收藏等等。

输入、滤波和输出

Logstash可以动态收集、转换和传输数据，无论其格式或复杂性如何。使用Gk从非结构化数据中导出结构，从IP地址中解码地理坐标，匿名化或排除敏感字段，简化整个处理过程。

投入

收集各种风格、尺寸和来源的数据。

数据经常以各种形式存在于许多系统中，分散或集中。/[/k0/它可以通过连续流式传输从您的博客、指标、网络应用程序、数据存储和各种AWS服务中轻松收集数据。

撒

实时分析和转换数据。

在从源到存储库的数据传输过程中，Logstash过滤器可以分析各种事件，识别命名字段以构建结构，并将其转换为通用格式，以获得更强大的分析和商业价值。

Logstash可以动态转换和解析数据，无论其格式或复杂性如何:

利用Gk从非结构化数据中导出结构

从IP地址解码地理坐标

匿名PII数据并完全排除敏感字段。

简化整体处理，独立于数据源、格式或模式。

借助我们丰富的过滤器库和通用的弹性通用模式，您可以实现无限的可能性。

输出

选择您的存储库并导出您的数据。

虽然Elasticsearch是我们首选的输出方向，它可以为我们的搜索和分析带来无限可能，但它不是唯一的选择。

Logstash提供了很多输出选项，可以将数据发送到想要指定的地方，还可以灵活解锁很多下游用例。

开口的

以自己的方式创建和配置管道Logstash采用可插拔框架，有200多个插件。您可以混合不同的输入选项、过滤器和输出选项，并仔细安排它们在管道中和谐运行。

从自定义应用程序收集数据？没有看到所需的插件？Logstash插件很容易构建。我们有一个优秀的插件开发API和插件生成器，可以帮助您开始创建和共享结果。

Logstash软件特色

即插即用

借助弹性堆栈更快获得洞察力

Logstash模块通过ArcSight、Netflow等热门数据源呈现即时视觉体验。通过立即部署采集管道和复杂的仪表板，您可以在几分钟内开始数据探索。

构建可信的交付管道

如果Logstash节点出现故障，Logstash将确保正在运行的事件至少通过持久队列传递一次。那些没有正常处理的消息将被发送到死信队列进行进一步处理。有了这个吸收吞吐量的能力，现在就不需要采用额外的队列层，Logstash就可以顺利度过高峰期。此外，我们还可以使您能够充分确保您的收集管道的安全。

全面监控您的部署。

Logstash管道通常服务于各种目的，这将变得非常复杂，因此充分了解管道的功能、可用性和瓶颈非常重要。通过监控和管道查看器功能，您可以轻松观察和研究活动Logstash节点或整个部署。

使用单一用户界面集中管理部署

借助Pipeline管理图形界面(UI)来管理Logstash的部署，可以轻松地安排和管理自己的管道。此外，该管理功能还与内置的安全功能无缝集成，以避免任何事故。

Logstash软件优势

Logstash是一个具有实时流水线功能的开源数据采集引擎。Logstash可以动态统一不同来源的数据，并将数据标准化到您选择的目标位置。清除所有数据，并将其变为现实，用于各种高级下游分析和可视化用例。

虽然Logstash最初推动了日志收集的创新，但它的功能远远超出了这个用例。各种输入、过滤和输出插件可以丰富和转换任何类型的事件，许多本机编解码器进一步简化了提取过程。Logstash通过使用更多数量和种类的数据来加速您的洞察力。

Logstash的力量编辑器，Elasticsearch等。

具有强大弹性搜索和基巴纳协作功能的水平可扩展数据处理管道

可插拔管道架构

混合、匹配和排列不同的输入、过滤器和输出，以协调管道。

社区可扩展和开发者友好的插件生态系统

有200多个插件可供使用，并且创建和贡献了它们自己的灵活性。

和指标

从何说起。

处理所有类型的博客数据。

轻松获得大量Web博客(如Apache)和应用程序博客(如用于Java的log4j)。

捕获许多其他日志格式，如系统日志、网络和防火墙日志等。

通过Filebeat享受补充安全日志转发功能。

通过TCP和UDP从Ganglia、collectd、NetFlow、JMX和许多其他基础设施和应用平台收集指标。

网络

打开万维网。

将HTTP请求转化为事件

从推特等网络服务消费进行社会情绪分析。

Webhook对GitHub、HipChat、JIRA和无数其他应用程序的支持

启用许多Watcher警报用例。

通过按需查询HTTP端点来创建事件。

从Web应用程序界面通用捕获健康、性能、指标和其他类型的数据

非常适合控制查询优先于接收的情况。

Logstash使用说明

使用Logstash解析博客

在“存储第一个事件”中，您创建了一个基本Logstash管道来测试Logstash设置。在现实世界中，Logstash管道更复杂:它通常有一个或多个输入、过滤和输出插件。

在本节中，您将创建一个Logstash管道，该管道使用Filebeat获取Apache网络博客作为输入，解析这些博客以从博客中创建特定的命名字段，并将解析后的数据写入弹性搜索集群。不要在命令行上定义管道配置，而是在配置文件中定义管道。

将Filebeat配置为将博客文章发送到Logstash

在创建Logstash管道之前，Filebeat将被配置为将博客发送到Logstash。Filebeat客户端是一个轻量级、资源友好的工具，可以处理和收集文件中的日志，并将这些日志转发到您的Logstash实例。Filebeat专为低延迟和可靠性而设计。Filebeat在主机上占用的资源很少，Beats输入插件最大限度地减少了Logstash实例上的资源需求。

Logstash的默认安装包括Beats输入插件。Beats输入插件使Logstash能够从Elastic Beats框架接收事件，这意味着任何用Beats框架编写的Beats，如Packetbeat和Metcbeat，也可以向Logstash发送事件数据。

安装Filebeat后，您需要对其进行配置。打开位于Filebeat安装目录下的Filebeat.yml文件，内容替换为以下几行。确保路径指向logstash-tutoal.log您之前下载的示例Apache日志文件:

由Filebeat处理的文件的绝对路径。

保存您的更改。

为了简化配置，您将不会像在实际情况中那样指定TLS/SSL设置。

在数据源计算机上，使用以下命令运行文件节拍:

为Filebeat输入配置Logstash。

接下来，创建一个Logstash配置管道，使用Beats输入插件从Beats接收事件。

以下文本表示配置管道的框架:

这个框架的工作不一致，因为在输入和输出部分没有定义有效的选项。

首先，将骨架配置管道复制并粘贴到first-pipeline.conf main Logstash目录中命名的文件中。

接下来，通过输入将以下行添加到first-pipeline.conf文件部分，并将Logstash实例配置为使用Beats输入插件:

您将配置Logstash在将来编写Elasticsearch。现在，您可以在运行Logstash时，用下面的行向该部分添加输出，以将输出打印到stdout:

完成后，first-pipeline.conf的内容应如下:

要验证您的配置，请运行以下命令:

& # 8211；config.test_and_exit选项分析您的配置文件并报告任何错误。

如果配置文件通过了配置测试，请使用以下命令启动Logstash:

& # 8211；config . reload . automatic选项支持自动重新加载配置，因此您不必每次修改配置文件时都停止并重新启动Logstash。

当Logstash启动时，您可能会看到一条或多条关于Logstash忽略pipelines.yml文件的警告消息。您可以放心地忽略此警告。pipelines.yml文件用于在单个Logstash实例中运行多个管道。对于此处显示的示例，您正在运行单个管道。

如果管道运行正常，您应该会在控制台上看到类似以下内容的一系列事件: