Centos7.5搭建ELK-6.5.0日志分析平台
1. 简介
工作工程中，不论是开发还是运维，都会遇到各种各样的日志，主要包括系统日志、应用程序日志和安全日志，对于开发人员来说，查看日志，可以实时查看程序的运行错误，以及性能分析，通常，一个大中型的应用程序会被部署到多台服务器，那日志文件也会分散到不同的机器上，这样查看日志难道要一台一台去查看？显然是太麻烦了，开源的日志分析系统 ELK 完美的解决了这个问题。
ELK 并不是一个独立的系统，她是由 ElasticSearch、Logstash、Kibana 三个开源的工具组成。
-
ElasticSearch
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
-
Logstash
Logstash 是一个开源的日志分析、收集工具，并将日志存储以供以后使用。
-
Kibana
Kibana 是一个为 Logstash 和 ElasticSearch 提供的日志分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。
2. 安装
-
下载elk的三个组建，es，logstash，kibana
https://artifacts.elastic.co/downloads/logstash/logstash-6.5.0.tar.gz https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.0.tar.gz https://artifacts.elastic.co/downloads/kibana/kibana-6.5.0-linux-x86_64.tar.gz -
设置参数
-
设置内核参数
vim /etc/sysctl.conf # 添加下面一行 vm.max_map_count = 262144 systcl -p ## 加载配置 -
修改系统最大文件打开数
vim /etc/security/limits.conf ##添加如下两行，保存后重新登陆用户及生效 * soft nofile 65536 * hard nofile 65536 -
关闭防火墙
service firewalld stop
-
-
解压并移动
## 新建目录 mkdir /usr/local/elk ## 解压 tar -vxzf elasticsearch-6.5.0.tar.gz tar -vxzf kibana-6.5.0-linux-x86_64.tar.gz tar -vxzf logstash-6.5.0.tar.gz ## 移动 mv elasticsearch-6.5.0 /usr/local/elk/ mv kibana-6.5.0-linux-x86_64 /usr/local/elk/ mv logstash-6.5.0 /usr/local/elk/ -
安装elasticsearch数据存储器，用于数据存储
vim /usr/local/elk/elasticsearch-6.5.0/config/elasticsearch.yml # ---------------------------------- Cluster ----------------------------------- cluster.name: ES-cluster ##设置集群名称，集群内的节点都要设置相同，可自定义 # ------------------------------------ Node ------------------------------------ node.name: node-1 ## 节点名称，自定义，各个节点不可相同 # ----------------------------------- Paths ------------------------------------ path.data: /usr/local/elk/elasticsearch-6.5.0/data path.logs: /usr/local/elk/elasticsearch-6.5.0/logs # ---------------------------------- Network ----------------------------------- network.host: 192.168.9.90 ## 本机IP http.port: 9200 ## 端口，默认9200 # --------------------------------- Discovery ---------------------------------- discovery.zen.ping.unicast.hosts: ["192.168.9.89","192.168.9.90"] ## 此集群内所有节点的IP地址，这里没有使用自动发现，而是指定地址发现，因为规模较小 discovery.zen.minimum_master_nodes: 1 -
添加用户，不能使用root用户启动
groupadd -g 1008 elasticsearch useradd -g 1008 -u 1008 elasticsearch chown -R elasticsearch:elasticsearch /usr/local/elk/elasticsearch-6.5.0/ -
启动elasticsearch
su elasticsearch ./elasticsearch ## 验证是否启动成功 ps -ef | grep elasticsearch -
安装kibana
vim /usr/local/elk/kibana-6.5.0-linux-x86_64/config/kibana.yml server.port: 5601 ## kibana默认端口 server.host: "192.168.9.90" ## 服务的host，直接填本机IP即可。 elasticsearch.url: "http://192.168.9.89:9200" ## elasticsearch的连接地址，集群时，连接其中一台节点即可。 -
启动kibana
cd bin ./kibana -
安装logstash
vim /usr/local/elk/logstash-6.5.0/config/logstash.yml ##修改host为0.0.0.0，这样别的电脑就可以连接整个logstash，不然只能本机连接。 http.host: "0.0.0.0" -
配置logstash配置文件，保存在elk/conf/all.conf
input { ## input为输入口 redis { data_type => "list" ## 队列输入，默认输入类型为list db => 10 ## 指定redis库 key => "redis-pipeline" ## redis是key-value式的内存数据库，指定key即是指定队列的标识key的大概意思 host => "192.168.9.79" ## 下面是连接信息，如果有密码则需要添加password这一项 port => "6379" threads => 5 ## 线程数 } } filter { ## 过滤器filter grok { ## grok插件，可以通过正则匹配，将日志的message进行格式化转换。 match => ["message","%{YEAR:YEAR}-%{MONTHNUM:MONTH}-%{MONTHDAY:DAY} %{HOUR:HOUR}:%{MINUTE:MIN}:%{SECOND:SEC},(?<MSEC>([0-9]*)) %{LOGLEVEL:loglevel} [(?<Classname>(.*))] - (?<Content>(.*))"] } } output { ## 输出elasticsearch elasticsearch { hosts => ["192.168.9.89:9200","192.168.9.90:9200"] ## 输出的elasticsearch的数据节点IP index => "logstash-test" ## 索引值 #user => "elastic" ## elasticsearch 的用户密码，需要安装x-pack才会有，这里先不用 #password => "changeme" } } -
启动logstash
cd /usr/local/elk/logstash-6.5.0/bin ./logstash -f /usr/local/elk/conf/all.conf
到现在，elk的三个组建就全部启动了。