安装ELK平台 7.3.0版本

0. 事前准备工作

0.1 防火墙

• 若是使用公网IP的话可以考虑关闭防火墙，或者放行相应端口
• 使用内网IP的话可以不用管防火墙

0.2 关闭SElinux

# setenforce 0

文件：/etc/selinux/config

SELINUX=disabled

0.3 内核优化

文件：/etc/security/limits.conf，在最后加入如下内容:

* soft nofile 65537
* hard nofile 65537
* soft nproc 65537
* hard nproc 65537

文件：/etc/security/limits.d/20-nproc.conf，修改如下内容:

*    soft    nproc     4096

文件：/etc/sysctl.conf,修改好后使用sysctl -p生效

vm.max_map_count = 262144
net.core.somaxconn = 65535
net.ipv4.ip_forward = 1

0.4 软件准备

软件存放路径：/usr/local/src

• elasticsearch-7.3.0-x86_64.rpm
• filebeat-7.3.0-x86_64.rpm
• kibana-7.3.0-x86_64.rpm
• logstash-7.3.0.rpm
• openjdk-12_linux-x64_bin.tar.gz

0.5 规划

主机1:192.168.10.170，安装有nginx,filebeat,kibana
主机2:192.168.10.102，安装有logstash,elasticsearch,kibana,java

后期考虑：

• 使用多台主机搭建elasticsearch集群
• 使用elasticsearch-head监控elasticsearchz状态，设置密码
• 访问kibana使用nginx代理进行访问，kibana配置文件监听本机ip，kibana设置访问密码
• filenbeat与logstash进行ssl安全通信
• Heartbeat检测
• elasticsearch-certutil安全，设置密码

0.6 日志路径流程

nginx程序产生日志，filebeat配置文件中获取该日志，并把日志输出给logstash,logstash把日志输出给elasticsearch,使用kibana构建索引展示出来。

1. 配置java环境

# cd /usr/local/src
# tar -zxv -f openjdk-12_linux-x64_bin.tar.gz  -C /usr/local/

# vim /etc/profile
export JAVA_HOME=/usr/local/jdk-12
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

# source /etc/profile

# ln -s /usr/local/jdk-12/bin/java /usr/bin/java

# java -version
openjdk version "12" 2019-03-19
OpenJDK Runtime Environment (build 12+33)
OpenJDK 64-Bit Server VM (build 12+33, mixed mode, sharing)

2. Elasticsearch

2.1 安装

# rpm -Uvh elasticsearch-7.3.0-x86_64.rpm
# systemctl daemon-reload
# systemctl enable elasticsearch.service
# systemctl start elasticsearch.service

2.2 测试

# 测试
# curl -X GET http://localhost:9200

3. Kibana

3.1 安装

# rpm -Uvh kibana-7.3.0-x86_64.rpm
# systemctl daemon-reload
# systemctl enable kibana.service
# systemctl start kibana.service

3.2 配置文件修改

# 默认配置文件路径
# /etc/kibana/kibana.yml
server.host: "192.168.10.102" # 能够访问kibana的ip，此处设置公网IP直接本机访问
elasticsearch.hosts: ["http://localhost:9200"] # 关联的elasticsearch，多个的话中间用逗号隔开

i18n.locale: "zh-CN" # web界面使用中文

3.3 测试

# 测试
打开浏览器，输入地址：http://192.168.10.102:5601 进行访问

4. Logstash

4.1 安装

# rpm -Uvh logstash-7.3.0.rpm
# systemctl daemon-reload
# systemctl enable logstash.service
# systemctl start logstash.service

4.2. 配置filebeat日志输出到logstash

注意：这一步不能直接修改logstash-sample.conf使用，需要在conf.d目录下创建conf文件使用，具体可以查看logstash日志文件

# /etc/logstash/logstash-sample.conf /etc/logstash/conf.d/nginx.conf
# vim /etc/logstash/conf.d/nginx.conf
input {
  beats {
    port => 5044
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
}

5. filebeat

5.1 安装

# rpm -Uvh filebeat-7.3.0-x86_64.rpm
# systemctl daemon-reload
# systemctl enable filebeat.service
# systemctl start filebeat.service

5.2 配置文件

# vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
    enabled: true
    paths:
        - /usr/local/openresty/nginx/logs/*.log

#output.elasticsearch:
    # hosts: ["localhost:9200"]

output.logstash:
    hosts: ["192.168.10.102:5044"]

6. nginx

忽略

7. 补充

7.1 通过nginx访问kibana

# /etc/kibana/kibana.yml
server.port: 5601
server.host: "127.0.0.1"
server.basePath: "/kibana"

# nginx.conf
location /kibana/ {
    proxy_redirect off;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_pass http://127.0.0.1:5601;
    rewrite ^/kibana/(.*)$  /$1 break;
}

重启nginx和kibana，然后就能使用http://ip/kibana进行访问了

延伸：
可以给nginx访问配置密码，进一步加强安全