Elastic Stack学习

原文链接
Elastic Stack简称ELK，在本教程你将学习如何快速搭建并运行Elastic Stack。
首先你要安装核心开源产品：
Elasticsearch：
Kibana：
Beats：
Logstash：
然后，你将了解如何实现一个系统监视解决方案，该方案使用Metricbeat收集服务器度量并将数据发送到Elasticsearch，在Elasticsearch里你可以使用Kibana搜索和可视化数据。在你完成基本的设置之后，你可以添加Logstash来进行额外的解析。
你可以在一个单个虚拟机甚至你的笔记本上安装Elastic Stack。
重要：
实现安全性是建立Elastic Stack的关键步骤。要使用示例安装快速启动和运行，现在就跳过这些步骤。在通过网络发送敏感数据之前，请确保对Elastic Stack进行安全保护，并启用加密通信。
在你开始之前

• 有关支持的操作系统和产品兼容性的信息，请参阅Elastic Support Matrix
• 验证您的系统满足Logstash和Elasticsearch的最低JVM需求。

安装Elasticsearch

Elasticsearch是一个实时、分布式存储、搜索和分析引擎。它可以用于许多用途，但它擅长的一个上下文是对半结构化数据流(如日志或解码网络数据包)进行索引。

要下载和安装Elasticsearch，打开终端窗口，使用系统的命令(deb为Debian/Ubuntu, rpm为Redhat/Centos/Fedora, mac为OS X, win为Windows):

deb

curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.deb
sudo dpkg -i elasticsearch-6.4.0.deb
sudo /etc/init.d/elasticsearch start

rpm

curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.rpm
sudo rpm -i elasticsearch-6.4.0.rpm
sudo service elasticsearch start

mac

curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.tar.gz
tar -xzvf elasticsearch-6.4.0.tar.gz
cd elasticsearch-6.4.0
./bin/elasticsearch

win
1.从Elasticsearch下载页面下载Elasticsearch 6.4.0 Windows zip文件。

2.将zip文件的内容解压缩到计算机上的一个目录，例如，C:Program Files

3.作为管理员打开命令提示符并进入到包含提取文件的目录，例如：

cd C:Program Fileselasticsearch-6.4.0

4.启动Elasticsearch

binelasticsearch.bat

对于其他操作系统，请访问Elasticsearch下载页面。
要了解关于安装、配置和运行Elasticsearch的更多信息，请阅读Elasticsearch参考资料

确保elasticsearch已经启动并运行

要测试Elasticsearch守护进程是否启动并运行，请尝试在端口9200上发送HTTP GET请求。

curl http://127.0.0.1:9200

在Windows上，如果没有安装cURL，则将浏览器指向URL。
你会看到类似这样的回应:

{
"name" : "QtI5dUu",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "DMXhqzzjTGqEtDlkaMOzlA",
"version" : {
"number" : "6.4.0",
"build_flavor" : "default",
"build_type" : "tar",
"build_hash" : "00d8bc1",
"build_date" : "2018-06-06T16:48:02.249996Z",
"build_snapshot" : false,
"lucene_version" : "7.3.1",
"minimum_wire_compatibility_version" : "5.6.0",
"minimum_index_compatibility_version" : "5.0.0"
},
"tagline" : "You Know, for Search"
}

安装kibana

Kibana是一个开源的分析和可视化平台，设计用于Elasticsearch。使用Kibana搜索、查看和与存储在Elasticsearch索引中的数据交互。你可以轻松地执行高级数据分析并在各种图表、表格和地图中可视化数据。
我们建议你将Kibana安装在与Elasticsearch相同的服务器上，但这不是必需的。如果将产品安装在不同的服务器上，在开始Kibana之前，则需要更改Kibana配置文件kibana.yml中的Elasticsearch服务器的URL (IP:PORT)。
要下载和安装Kibana，打开终端窗口，使用与系统匹配的命令:
deb or rpm

curl -L -O https://artifacts.elastic.co/downloads/kibana/kibana-6.4.0-linux-x86_64.tar.gz
tar xzvf kibana-6.4.0-linux-x86_64.tar.gz
cd kibana-6.4.0-linux-x86_64/
./bin/kibana

mac

curl -L -O https://artifacts.elastic.co/downloads/kibana/kibana-6.4.0-darwin-x86_64.tar.gz
tar xzvf kibana-6.4.0-darwin-x86_64.tar.gz
cd kibana-6.4.0-darwin-x86_64/
./bin/kibana

win

1. 从Kibana下载页面下载Kibana 6.4.0 Windows zip文件。

2.将zip文件的内容解压缩到一个目录在您的计算机上，例如，C:Program Files
3.作为管理员打开命令提示符并导航到包含提取文件的目录，例如:

cd C:Program Fileskibana-6.4.0-windows

4.启动Kibana

binkibana.bat

对于其他操作系统，请访问Kibana下载页面。
要了解关于安装、配置和运行Kibana的更多信息，请阅读Kibana参考资料。

启动Kibana web界面

要启动Kibana web界面，请将浏览器指向端口5601。例如，http://127.0.0.1:5601。

安装Beats

Beats是作为开源数据托运人代理安装在服务器上，用于向Elasticsearch发送操作数据。Beats可以直接将数据发送到Elasticsearch或通过Logstash，在Logstash里你可以进一步处理和增强数据。
每个Beat是一个单独的可安装的产品。在本教程中，你将了解如何安装、运行Metricbeat和系统模块，使之能够收集系统指标。
要了解关于安装和配置其他Beat的更多信息，请参阅入门文档:
<colgroup style="box-sizing: border-box;"><col class="col_1" style="box-sizing: border-box;"><col class="col_2" style="box-sizing: border-box;"></colgroup>

Elastic Beats	To capture
Auditbeat	Audit data
Filebeat	Log files
Heartbeat	Availability monitoring
Metricbeat	Metrics
Packetbeat	Network traffic
Winlogbeat	Windows event logs

安装Metricbeat

要下载和安装Metricbeat，打开终端窗口并使用与您的系统匹配的命令：
deb

curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-6.4.0-amd64.deb
sudo dpkg -i metricbeat-6.4.0-amd64.deb

rpm

curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-6.4.0-x86_64.rpm
sudo rpm -vi metricbeat-6.4.0-x86_64.rpm

mac

curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-6.4.0-darwin-x86_64.tar.gz
tar xzvf metricbeat-6.4.0-darwin-x86_64.tar.gz

win
1.从Metricbeat下载页面下载Metricbeat Windows zip文件。
2.将zip文件的内容解压缩到 C:Program Files中。
3.将Metricbeat -6.4.0-windows目录重命名为Metricbeat。
4.作为管理员打开PowerShell提示符(右键单击PowerShell图标并选择以管理员身份运行)。
5.从PowerShell提示符，运行以下命令将Metricbeat安装为Windows服务

PS > cd 'C:Program FilesMetricbeat'
PS C:Program FilesMetricbeat> .install-service-metricbeat.ps1

对于其他操作系统，请访问Beats下载页面

将系统指标传到Elasticsearch

Metricbeat提供预先构建的模块，您可以使用这些模块在大约5分钟内快速实现和部署一个系统监控解决方案，包括样例指示板和数据可视化。

在本节中，您将了解如何运行系统模块，以从运行在服务器上的操作系统和服务收集指标。系统模块收集系统级指标，如CPU使用率、内存、文件系统、磁盘IO和网络IO统计数据，以及系统上运行的每个进程的顶级统计数据。

在你开始之前验证Elasticsearch和Kibana正在运行，Elasticsearch准备从Metricbeat接收数据。
建立系统模块并开始收集系统指标。
1.从Metricbeat安装目录，启用系统模块:
deb and rpm

sudo metricbeat modules enable system

mac：

./metricbeat modules enable system

win

PS C:Program FilesMetricbeat> .metricbeat.exe modules enable system

2.设置初始环境
deb and rpm

sudo metricbeat setup -e

mac

./metricbeat setup -e

win

PS C:Program FilesMetricbeat> metricbeat.exe setup -e

setup命令加载Kibana仪表板。如果仪表板已经设置好，则省略此命令。e标志是可选的，并将输出发送到标准错误，而不是syslog。
3.启动Metricbeat
deb and rpm

sudo service metricbeat start

mac

./metricbeat -e

win

PS C:Program FilesMetricbeat> Start-Service metricbeat

Metricbeat运行并开始向Elasticsearch发送系统指标。

在Kibana中可视化系统指标

要可视化系统指标，打开浏览器并导航到Metricbeat系统概述仪表板：
http://localhost:5601/app/kibana#/dashboard/Metricbeat-system-overview

TIP：如果在Kibana没有看到数据，请尝试将日期范围更改为更大的范围。默认情况下，Kibana会显示最后15分钟。如果看到错误，请确保Metricbeat正在运行，然后刷新页面。

现在你已经知道了如何为Elastic Stack建立最简单的体系结构—一个或多个Beats将事件数据直接发送到同一个服务器上运行的Elasticsearch实例—现在让我们添加Logstash。

安装Logstash

Logstash是一个强大的工具，可以集成多种部署。它提供了大量可供选择的插件，可以帮助您解析、充实、转换和缓冲各种来源的数据。

要下载和安装Logstash，打开终端窗口并使用与您的系统匹配的命令:
deb

curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-6.4.0.deb
sudo dpkg -i logstash-6.4.0.deb

rpm

curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-6.4.0.rpm
sudo rpm -i logstash-6.4.0.rpm

mac

curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-6.4.0.tar.gz
tar -xzvf logstash-6.4.0.tar.gz

win
1.从Logstash下载页面下载Logstash 6.4.0 Windows zip文件。
2.将zip文件的内容解压缩到计算机上的一个目录，例如，C:Program Files。使用短路径(少于30个字符)以避免在Windows上遇到文件路径长度限制。

对于其他操作系统，请访问Logstash的下载页面。

要了解关于安装、配置和运行Logstash的更多信息，请阅读logstash的参考资料。

配置logstash监听beats输入

Logstash提供从各种输入读取的输入插件。在本教程中，你将创建一个Logstash管道配置，它侦听Beats输入并将接收到的事件发送到Elasticsearch输出。

配置logstash：
1.创建一个新的日志存储管道配置文件，名为demo-metrics-pipeline.conf。如果您将Logstash作为deb或rpm包安装的，请在Logstash config目录中创建该文件。该文件必须包含:

• 一种输入阶段，配置Logstash在端口5044上侦听传入Beats连接。
• 一个输入阶段，将事件索引到Elasticsearch。输出阶段还配置Logstash写入Metricbeat索引。
  例如：

input {
  beats {
    port => 5044
  }
}

# The filter part of this file is commented out to indicate that it
# is optional.
# filter {
#
# }

output {
  elasticsearch {
    hosts => "localhost:9200"
    manage_template => false
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
  }
}

当你开始使用这个管道配置Logstash时，Beats事件是通过logstash输出出来的，你可以完全访问logstach输出出来的收集、充实和转换数据的功能。

启动logstash

使用与系统匹配的命令。如果你将Logstash作为deb或rpm包安装的，请确保config文件位于config目录中。
deb

sudo /etc/init.d/logstash start

rpm

sudo service logstash start

mac

./bin/logstash -f demo-metrics-pipeline.conf

win

binlogstash.bat -f demo-metrics-pipeline.conf

TIP：如果你收到JVM错误消息，请检查Java版本，如安装Logstash中所示。

Logstash开始侦听来自Beats输入的事件。接下来需要配置Metricbeat将事件发送到Logstash。

配置Metricbeat以发送事件到logstash

Metricbeat默认向Elasticsearch发送事件。要将事件发送到Logstash中，请修改Metricbeat配置文件Metricbeat .yml。你可以在Metricbeat安装目录下找到这个文件，或者对于rpm和deb，在找到/etc/metricbeat。

通过注释它以禁用输出到Elasticsearch，然后取消注释以启用输出到logstash：

#-------------------------- Elasticsearch output ------------------------------
#output.elasticsearch:
  # Array of hosts to connect to.
  #hosts: ["localhost:9200"]
.
.
.
#----------------------------- Logstash output --------------------------------
output.logstash:
  # The Logstash hosts
  hosts: ["localhost:5044"]

保存文件，然后重新启动Metricbeat应用配置更改。

Logstash从Beats输入读取数据并将事件索引到Elasticsearch。你还没有定义筛选器部分，因此Logstash只是将事件转发给Elasticsearch，而没有进行额外的处理。接下来，您将学习如何定义筛选器阶段。

定义一个过滤器以使从字段中提取数据

Metricbeat收集的系统度量包括一个名为cmdline的字段，该字段包含用于启动系统进程的完整命令行参数。例如:

"cmdline": "/Applications/Firefox.app/Contents/MacOS/plugin-container.app/Contents/MacOS/plugin-container -childID 3
-isForBrowser -boolPrefs 36:1|299:0| -stringPrefs 285:38;{b77ae304-9f53-a248-8bd4-a243dbf2cab1}| -schedulerPrefs
0001,2 -greomni /Applications/Firefox.app/Contents/Resources/omni.ja -appomni
/Applications/Firefox.app/Contents/Resources/browser/omni.ja -appdir
/Applications/Firefox.app/Contents/Resources/browser -profile
/Users/dedemorton/Library/Application Support/Firefox/Profiles/mftvzeod.default-1468353066634
99468 gecko-crash-server-pipe.99468 org.mozilla.machname.1911848630 tab"

与其将整个命令行参数发送到Elasticsearch，不如只发送命令的路径。一种方法是使用Grok过滤器。学习Grok超出了本教程的范围，但是如果您想了解更多，请参阅Grok filter插件文档。

要提取路径，在之前创建的Logstash配置文件的输入和输出部分之间添加以下Grok过滤器:

filter {
    if [system][process] {
        if [system][process][cmdline] {
            grok {
                match => { 
                    "[system][process][cmdline]" => "^%{PATH:[system][process][cmdline_path]}"
                }
                remove_field => "[system][process][cmdline]" 
            }
        }
    }
｝

• 使用正则模式匹配路径，然后将路径存储在一个名为cmdline_path的字段中。
• 移除原始字段cmdline，所以它不在Elasticsearch中索引。

完成之后，完整的配置文件应该如下所示:

input {
  beats {
    port => 5044
  }
}

filter {
  if [system][process] {
    if [system][process][cmdline] {
      grok {
        match => {
          "[system][process][cmdline]" => "^%{PATH:[system][process][cmdline_path]}"
        }
        remove_field => "[system][process][cmdline]"
      }
    }
  }
}

output {
  elasticsearch {
    hosts => "localhost:9200"
    manage_template => false
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
  }
}

重新启动Logstash以获取更改。事件现在包含一个名为cmdline_path的字段，该字段包含命令路径:

"cmdline_path": "/Applications/Firefox.app/Contents/MacOS/plugin-container.app/Contents/MacOS/plugin-container"

接下来是什么

恭喜你! 你已经成功地建立了Elastic Stack。你学习了如何流传输系统度量到Elasticsearch中在Kibana中可视化这些数据。你还学习了如何使用Logstash来过滤Metricbeat收集的事件。