快速搭建日志系统

快速搭建日志系统

1. 背景

• 平时线上查日志，大家很烦 敲命令，有时候 还不给我权限 ,如果集群，分布式系统 排查日志更加困难

tail -f *.log

tail -n

cat log.txt | grep 'msg' -C 5 前后5行

2. 那就来一套 用的较多 的 filebeat + logstash + es + kibana 日志系统吧

1. 安装 es

   docker pull elasticsearch:7.1.1
   
   docker run -d --name elasticsearch --net somenetwork -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.1.1
   
   # 创建网络 可以不用
   docker network create somenetwork 
   

2. 安装 kibana

   docker pull kibana:7.1.1
   
   docker run -d -e "I18N_LOCALE=zh-CN" --name  kibana --net somenetwork -p 5601:5601 kibana:7.1.1
   

3. 安装 filebeat

   不想用docker了， 下载安装包，解压，改配置

​

启动 nohup ./filebeat -e -c filebeat.yml &

4. 安装 logstash,一样 下载安装包，改配置 启动 logstash.conf

   input {
     beats {
       port => 5044
     }
   }
   filter {
      grok {
           match => ["message", "%{TIMESTAMP_ISO8601:logdate}"]
     }
     date {
           match => ["logdate", "yyyy-MM-dd HH:mm:ss.SSS"]
           target => "@timestamp"
     }
     mutate{
   	remove_field => ["logdate"]
     }
   }
   output {
     elasticsearch {
       hosts => ["http://172.16.13.68:9200"]
       index => "security-platform-%{+YYYY.MM.dd}"
       #user => "elastic"
       #password => "changeme"
     }
   }
   

   启动 nuhup bin/logstash -f config/logstash.conf &

3.效果

4. 总结

有了这个 不会linux 也能快速查看日志，排查错误了