ELK 日志管理系统，再次尝试记录

简介：

第二次尝试 ELK 记录...

工作流程：

1、客户端的 Logstash 将日志信息采集到之后传输给 Redis 做消息队列
2、然后服务端的 Logstash 将日志从 Redis 中取出之后根据日志规则将数据序列化（ 方便查询 ）完成后存入 Elasticsearch 文本数据库中
3、最后通过 Kibana 展示数据，可以根据序列化好的数据做查询过滤、数据聚合等操作

环境描述：

192.168.214.20 服务端（ Logstash 、Elasticsearch 、Redis 、Nginx 、Kibana4 ）
192.168.214.30 客户端（ Logstash ）

一、客户端操作

shell > yum -y install java

1、安装 Logstash

shell > cd /usr/local/src ; wget https://download.elastic.co/logstash/logstash/logstash-1.5.2.tar.gz
shell > tar zxf logstash-1.5.2.tar.gz
shell > mv logstash-1.5.2 /usr/local/logstash

2、编写配置文件

shell > vim /usr/local/logstash/logstash.conf

# Logstash.conf

input {
  file {
    type => "apache_access"
    path => ["/tmp/access.log"]
    start_position => "beginning"
  }
}

output {
#  stdout {
#    codec => rubydebug
#  }
  redis {
      host => "192.168.214.20"
      port => 6379
      data_type => "list"
      key => "logstash-redis"
  }
}

## input 段定义从哪里采集日志，beginning 代表服务启动时从日志文件头部开始导入日志，而不是监听新生成的日志（ 当然导入完成也会变成监听新生成的日志 ）
## output 段定义将日志数据输送到指定的 Redis 服务中，类型为 list ，key 为 logstash-redis
## stdout 段是为了简单验证有没有采集到日志数据（ 效果：会在终端输出日志信息，rubydebug 为输出格式，可以不设置 codec 看看有什么区别 ）

3、检查配置文件

shell > /usr/local/logstash/bin/logstash -f /usr/local/logstash/logstash.conf -t
Configuration OK

## 启动前先检查一下配置文件是否正确
## OK ，客户端配置完毕，暂时不启动（ 因为服务端的 Redis 服务还没有，现在启动会报错：传输失败 ）

二、服务端操作

1、安装 Elasticsearch

shell > cd /usr/local/src ; wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.6.0.tar.gz
shell > tar zxf elasticsearch-1.6.0.tar.gz
shell > mv elasticsearch-1.6.0 /usr/local/elasticesearch

2、配置 Elasticsearch

shell > vim /usr/local/elasticesearch/config/elasticsearch.yml

cluster.name: my_es
node.name: "Master"

## cluster.name 集群名称，局域网内只要这个名称相同，那么就可以自动组成一个集群
## nod.name 节点名称
## 这些都是可以不用修改的，采用默认参数即可（ 要知道，Elasticsearch 是一个数据库，所以功能远远不止这些 ）

shell > vim /usr/local/elasticesearch/bin/elasticsearch.in.sh

if [ "x$ES_MIN_MEM" = "x" ]; then
    ES_MIN_MEM=64m
fi
if [ "x$ES_MAX_MEM" = "x" ]; then
    ES_MAX_MEM=256m

## Elasticsearch 可用的最大、最小内存数（ 根据实际情况来吧 ）

3、启动 Elasticsearch

shell > /usr/local/elasticesearch/bin/elasticsearch -d
shell > netstat -anpt | grep 9200
tcp        0      0 :::9200                     :::*                        LISTEN      1263/java

## -d 后台运行，默认监听 TCP 9200 端口

shell > curl -X GET 127.0.0.1:9200
{
  "status" : 200,
  "name" : "Master",
  "cluster_name" : "my_es",
  "version" : {
    "number" : "1.6.0",
    "build_hash" : "cdd3ac4dde4f69524ec0a14de3828cb95bbb86d0",
    "build_timestamp" : "2015-06-09T13:36:34Z",
    "build_snapshot" : false,
    "lucene_version" : "4.10.4"
  },
  "tagline" : "You Know, for Search"
}

## 这是一些基本信息

shell > curl -X GET 127.0.0.1:9200/_cat
=^.^=
/_cat/allocation
/_cat/shards
/_cat/shards/{index}
/_cat/master
/_cat/nodes
/_cat/indices
/_cat/indices/{index}
/_cat/segments
/_cat/segments/{index}
/_cat/count
/_cat/count/{index}
/_cat/recovery
/_cat/recovery/{index}
/_cat/health
/_cat/pending_tasks
/_cat/aliases
/_cat/aliases/{alias}
/_cat/thread_pool
/_cat/plugins
/_cat/fielddata
/_cat/fielddata/{fields}

## 怎么说呢，所支持的一些指令吧

shell > curl -X GET 127.0.0.1:9200/_cat/master
6LEg6Ap4Qq-9HYUbEoy9Bw localhost.localdomain 127.0.0.1 Master

## 例如查看 master 信息

shell > curl -X GET 127.0.0.1:9200/_cat/master?v
id                     host                  ip        node
6LEg6Ap4Qq-9HYUbEoy9Bw localhost.localdomain 127.0.0.1 Master

## 结尾加了 ?v 可以显示各字段意思

4、Elasticsearch 安装插件

shell > /usr/local/elasticesearch/bin/plugin -i mobz/elasticsearch-head

## 可以使用 plugin 命令跟 -i 参数，自动下载并安装插件
## 如果因网络问题不能这样安装时，可以将插件包手动下载到机器上，使用 ./plugin -u file:///usr/local/src/插件包.zip -i head 这样安装

shell > /usr/local/elasticesearch/bin/plugin -l
Installed plugins:
    - head

## 使用 -l 可以列出已经安装过的插件
## 访问 URL : http://192.168.214.20:9200/_plugin/head 查看插件页面，记得防火墙开启 TCP 9200 端口

shell > /usr/local/elasticesearch/bin/plugin -i lukas-vlcek/bigdesk

## 这是一个用来监控集群状态的插件，如: CPU 、内存 、索引数据、搜索情况、HTTP 连接数等
## 手动下载时，例如第一个插件的地址就是 https://github.com/mobz/elasticsearch-head

5、Redis

shell > cd /usr/local/src ; wget http://download.redis.io/releases/redis-3.0.2.tar.gz
shell > tar zxf redis-3.0.2.tar.gz
shell > cd redis-3.0.2 ; make ; make install
shell > mkdir /usr/local/redis
shell > cp /usr/local/src/redis-3.0.2/redis.conf /usr/local/redis/
shell > sed -i '/daemonize/s/no/yes/' /usr/local/redis/redis.conf
shell > sed -i 's#dir ./#dir /usr/local/redis#' /usr/local/redis/redis.conf
shell > redis-server /usr/local/redis/redis.conf
shell > redis-cli ping
PONG

## Redis 已经启动成功，记得防火墙开放 TCP 6379 端口，不然客户端收集到的日志信息传输不过来

6、先来个小测试

1> 客户端启动 Logstash

shell > /usr/local/logstash/bin/logstash -f /usr/local/logstash/logstash.conf &

2> 客户端导入日志（ 找线上的日志导入到本地指定的日志文件中 ）

3> 服务端查看 Redis 能否接收到数据

shell > redis-cli
127.0.0.1:6379> keys *
1) "logstash-redis"

## 可以看到有一个名为 logstash-redis 的 key（ 正是客户端定义的 key ）

127.0.0.1:6379> lrange logstash-redis 0 -1
 1) "{"message":"121.42.0.30 - - [17/Jul/2015:18:01:21 +0800] \"POST /include/fckeditor/editor/filemanager/browser/default/connectors/asp/connector.asp?Command=FileUpload&Type=File&CurrentFolder=%2F HTTP/1.1\" 404 279","@version":"1","@timestamp":"2015-07-20T15:31:46.914Z","host":"localhost.localdomain","path":"/tmp/access.log","type":"apache_access"}"
 2) "{"message":"121.42.0.30 - - [17/Jul/2015:18:01:23 +0800] \"POST /plugins/fckeditor/editor/filemanager/browser/default/connectors/asp/connector.asp?Command=FileUpload&Type=File&CurrentFolder=%2F HTTP/1.1\" 404 279","@version":"1","@timestamp":"2015-07-20T15:31:46.941Z","host":"localhost.localdomain","path":"/tmp/access.log","type":"apache_access"}"

## 使用指令查看这个 key 中的数据，0 -1 表示从头到尾全部查看，最终发现有 89 条数据
## 而此时在客户端上执行 wc -l < /tmp/access.log 发现得到的结果也是 89 条，说明数据传输没有问题

7、Logstash

## 安装方式跟客户端一样，只是配置文件有所不同而已

shell > vim /usr/local/logstash/logstash.conf

# Logstash.conf

input {
  redis {
    host => "127.0.0.1"
    port => 6379
    data_type => "list"
    key => "logstash-redis"
    type => "redis-input"
  }
}

filter {
  grok {
    match => { "message" => "%{IPORHOST:client_ip} %{USER:ident} %{USER:auth} [%{HTTPDATE:timestamp}] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:http_version})?|%{DATA:raw_request})" %{NUMBER:response} (?:%{NUMBER:bytes}|-)" }
  }
}

output {
  stdout {
    codec => rubydebug
}

#  elasticsearch {
#    host => "127.0.0.1"
#    port => 9200
#    protocol => 'http'
#  }
}

## input 段定义从 Redis 中取数据
## output 段定义将序列化好的数据写入本机的 Elasticsearch 中（ 上面注释掉是为了查看规则是否匹配成功 ）
## filter 段定义将取出的数据序列化（ 根据日志格式编写匹配规则 ）

141.212.122.34 - - [18/Jul/2015:14:54:51 +0800] "GET /x HTTP/1.1" 400 226

## 这是我的日志格式，非常简单，匹配规则每个 %{} 对应一个字段，要完全匹配才会出结果，否则匹配失败
## 编写规则时可以根据这里的定义自由组合，地址：https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns
## 上面的一长串其实直接定义为 match => { "%{COMMONAPACHELOG}" } 即可，单独写出来是为了记录自由组合时格式是怎么样的

shell > /usr/local/logstash/bin/logstash -f /usr/local/logstash/logstash.conf -t
Configuration OK
shell > /usr/local/logstash/bin/logstash -f /usr/local/logstash/logstash.conf &

## 配置文件没有问题，那么就启动

{
         "message" => "121.42.0.30 - - [17/Jul/2015:18:02:47 +0800] "GET /phpMyAdmin/scripts/setup.php HTTP/1.1" 404 226",
        "@version" => "1",
      "@timestamp" => "2015-07-20T15:31:47.963Z",
            "host" => "localhost.localdomain",
            "path" => "/tmp/access.log",
            "type" => "apache_access",
       "client_ip" => "121.42.0.30",
           "ident" => "-",
            "auth" => "-",
       "timestamp" => "17/Jul/2015:18:02:47 +0800",
            "verb" => "GET",
         "request" => "/phpMyAdmin/scripts/setup.php",
    "http_version" => "1.1",
        "response" => "404",
           "bytes" => "226"
}

## 截取一段输出信息来看，日志中的各项指标都匹配到了，说明规则没有问题
## 那么接下来就可以将 stdout 段注释掉，将 Elasticsearch 段注释取消，将结果写到 Elasticsearch 中了（ 修改配置文件要重启服务，这个不用多说 ）

shell > curl -X GET 127.0.0.1:9200/_cat/indices

## 重启完服务查看 Elasticsearch 中有没有索引时，发现是空的！
## 这是正常现象，如果你现在去看 Redis 时，就会发现也是空值，因为 Redis 作为消息队列，Logstash 读取完（ 拿走 ） Redis 中的数据，Redis 自然就成了空值。
## 再次导入一些日志信息测试

shell > curl -X GET 127.0.0.1:9200/_cat/indices
yellow open logstash-2015.07.20 5 1 31 0 49.4kb 49.4kb

## 可以看到 Elasticsearch 已经生成了索引（ 有数据了 ）

shell > curl -X GET 127.0.0.1:9200/_cat/shards?v
index               shard prirep state      docs  store ip        node
logstash-2015.07.20 2     p      STARTED       7   10kb 127.0.0.1 Master
logstash-2015.07.20 2     r      UNASSIGNED
logstash-2015.07.20 0     p      STARTED       6 10.2kb 127.0.0.1 Master
logstash-2015.07.20 0     r      UNASSIGNED
logstash-2015.07.20 3     p      STARTED       6  9.6kb 127.0.0.1 Master
logstash-2015.07.20 3     r      UNASSIGNED
logstash-2015.07.20 1     p      STARTED       7 10.1kb 127.0.0.1 Master
logstash-2015.07.20 1     r      UNASSIGNED
logstash-2015.07.20 4     p      STARTED       5  9.3kb 127.0.0.1 Master
logstash-2015.07.20 4     r      UNASSIGNED

## 这样再来看看，更清楚了

8、Kibana

shell > cd /usr/local/src ; wget https://download.elastic.co/kibana/kibana/kibana-4.1.1-linux-x64.tar.gz
shell > tar zxf kibana-4.1.1-linux-x64.tar.gz
shell > mv kibana-4.1.1-linux-x64 /usr/local/kibana
shell > vim /usr/local/kibana/config/kibana.yml

elasticsearch_url: "http://127.0.0.1:9200"

## 这里也没什么需要改的，确认一下从哪读取数据

shell > /usr/local/kibana/bin/kibana > /usr/local/kibana/kibana.log &
netstat -anpt | grep 5601
tcp        0      0 0.0.0.0:5601                0.0.0.0:*                   LISTEN      1881/node

## 启动服务，默认监听 TCP 5601 端口，防火墙怎么做不用说了吧
## 访问 URL : http://192.168.214.20:5601

> 第一次访问要求创建一个索引（ 没有导入日志是不能创建索引的 ），可以使用默认的 logstash-* ，也可以使用事件时间来创建索引（ 能用时间匹配的情况下 ）
> 接下来就可以查看日志信息了，第一个界面简单展示，第二个界面可以创建图表，第三个界面可以将创建好的多个图表放在一起，第四个界面是配置页，创建索引就在这里

## 头次浏览可能会提示搜索不到信息，在右上角选择合适的时间区间应该就可以了