大型网站遇到性能瓶颈或发生故障时，分析日志往往是发现问题根源最有效的手段。 传统的日志分析手段不外乎以下几类:
1. 运维人员用脚本grep，分析再汇总
2. 通过流式计算引擎,storm/spark实时产生汇总 数据，供监控分析
3. 将数据堆放到HDFS，之后通过map/reduce定期做批量分析
一个完整的集中式日志系统，需要包含以下几个主要特点：
- 收集－能够采集多种来源的日志数据
- 传输－能够稳定的把日志数据传输到中央系统
- 存储－如何存储日志数据
- 分析－可以支持 UI 分析
- 警告－能够提供错误报告，监控机制
ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用。目前主流的一种日志系统。
基于ELK（Elasticsearch , Logstash, Kibana）的解决方案则提供了另外一种思路，利用搜索引擎将数据索引起来，支持实时的多维度组合查询和聚合分析。 这非常契合问题排查过程，即先通过上层统计数据发现数据异常之方向，再通过不断细化过滤条件缩小范围， 实现对日志的下钻式分析。 ELK上手成本虽低，扩展到海量数据规模场景却很不易。很多用户面临诸如集群稳定性差，写入吞吐量不理想， 查询速度慢，安全把控头痛，不知道如何监控等问题。
某旅行网从2013年开始基于ELK打造实时日志分析平台， 不到2年时间，集群结点从5个增长到30多个，日处理数据从亿级到百亿级，集群从不稳定到连续200多天没出任何故障。
ELK简介
ElasticSearch是一个基于Lucene的搜索分布式服务器，便于存储和检索数据；
Logstash是一个开源的日志收集管理工具，用于往ES中写入数据；
Kibana是一个开源的分析与可视化平台，用于高级数据分析与可视化。
一、ElasticSearch学习
狂乱的贵公子 【好文】
中文书籍（官网）：Elasticsearch: 权威指南
ELK（Elasticsearch/Logstash/Kibana）概念学习系列
二、FileBeat
日志采集器。用于转发和汇总日志与文件，让简单的事情不再繁杂。
Beats是用于单用途数据托运人的平台。它们以轻量级代理的形式安装，并将来自成百上千台机器的数据发送到Logstash或Elasticsearch。
（画外音：通俗地理解，就是采集数据，并上报到Logstash或Elasticsearch）
Beats可以直接（或者通过Logstash）将数据发送到Elasticsearch，在那里你可以进一步处理和增强数据，然后在Kibana中将其可视化。
logstash 和filebeat都具有日志收集功能，filebeat更轻量，占用资源更少，但logstash 具有filter功能，能过滤分析日志。
一般结构都是filebeat采集日志，然后发送到消息队列，redis，kafaka。然后logstash去获取，利用filter功能过滤分析，然后存储到elasticsearch中。
关于Filebeat，记住两点：
- 轻量级日志采集器
- 输送至 Elasticsearch 或 Logstash，在 Kibana 中实现可视化
开始配置使用filebeat之前，你需要安装并配置好这些依赖程序：
Elasticsearch 作为存储和索引这些数据。
Kibana 作为展示平台。
Logstash（可选）去插入数据到elasticsearch。
开始使用Filebeat 【参考的基于linux的】 和 Logstash 一起用。
三、Logstash
Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到你最喜欢的“存储”。（当然，我们最喜欢的是Elasticsearch）
参考：Logstash
四、Kibana
Kibana 是一个设计出来用于和 Elasticsearch 一起使用的开源的分析与可视化平台，可以用 kibana 搜索、查看、交互存放在Elasticsearch 索引里的数据，使用各种不同的图表、表格、地图等展示高级数据分析与可视化，基于浏览器的接口使你能快速创建和分享实时展现Elasticsearch查询变化的动态仪表盘，让大量数据变得简单，容易理解。
Kibana 的安装（Windows版本） 【要下载和elasticSearch一样的版本】
Kibana入门教程 【请求的时候 参考postman中保存的记录】