EFK日志系统教程安装及配置

EFK日志系统安装文档

1. 概述1

1.1. 配置规划 1

1.2. 各软件版本 1

1.8.2. 点击download按钮 3

2. ElasticSearch安装4

2.1. 解压安装包到/opt/EFK 4

2.2. 在根路径下创建es用户组及用户 4

2.2.1. 创建用户组 5

2.2.2. 创建用户 5

2.2.3. 更改EFK所属用户 5

2.3. 创建data数据目录和日志目录，使用es用户 5

2.4. 修改配置文件 6

2.5. 修改 Linux下/etc/security/limits.conf文件设置 8

2.6. 修改配置 Linux下/etc/security/limits.d/90-nproc.conf文件设置 9

2.7. 修改配置 Linux下/etc/sysctl.conf文件设置 9

2.8. 启动 9

3. Node.js安装11

4. ElasticSearch-head插件安装12

4.1. 采用nodejs安装 12

4.2. 下载ElasticSearch-head 12

4.3. 解压 13

4.4. 安装Node.js 13

4.5. npm install -g grunt-cli 13

4.6. npm install 13

4.7. 更改配置信息 13

4.7.1. elasticsearch-5x下的 config/elasticsearch.yml 13

4.7.2. elasticsearch-head下Gruntfile.js 14

4.7.3. 修改连接地址 14

4.8. grunt server 15

4.9. 访问 15

5. Kibnan安装15

5.5.3. 运行main.pay文件 17

6. FileBeat安装18

8. Logstash安装22

9.1. ElasticSearch问题 25

概述
1. 配置规划

机器名称	主从关系	ip
cdh-1	主	10.168.1.44
cdh-2	从	10.168.0.126
cdh-3	从	10.168.0.127
cdh-4	从	10.168.0.128
cdh-5	从	10.168.0.130

1. 各软件版本

软件名称	版本号	插件
Elasticsearch	6.3.1
Logstash	6.3.1
Kibana	6.3.1
Filebeat	6.3.1
Kafka	2.11-1.1.0
NodeJS	8.11.3
zookeeper	3.4.5

1. 日志处理流程

filebeat --> kafka --> logstash --> elasticsearch

1. 各服务启动顺序

启动顺序不能颠倒，filebeat一定放在最后启动。否则会出现logstash读取不到kafka数据的问题。

1 、elasticsearch、kafka、kibana

logstash
filebeat
1. 架构

1. JDK准备

5台机器都需安装1.8以上JDK，因搭建CDH集群时各机器已安装JDK1.8.0_171，因此不再重复安装。

1. 新建EFK文件夹

5台机器都新建/opt/EFK文件夹，EFK相关软件都放到此文件夹下面。

mkdir EFK

1. 下载软件

elastic系列软件下载地址：https://www.elastic.co/downloads

其中，Elasticsearch、Logstash、Kibana、Filebeat从地址下载。

此处以下载ElasticSearch为例，其他软件都参考步骤下载最新版本即可。

1. 1. 进入下载地址

浏览器输入https://www.elastic.co/downloads，进入下载地址

1. 1. 点击download按钮

点击download按钮，进入下载类型选择界面。点击下图中圈出的TAR选项，下载最新版本。本次安装下载的版本为elasticsearch-6.3.1.tar.gz

ElasticSearch安装
1. 解压安装包到/opt/EFK

5台机器都需解压安装包。

包：elasticsearch-6.3.1.tar.gz

在/opt/EFK解压：

tar -zxvf elasticsearch-6.3.1.tar.gz

1. 在根路径下创建es用户组及用户

回到/opt路径，5台机器依次创建相同的用户组及用户。

因elasticsearch版本在6.0之后不允许用root用户启动，故必须创建新的用户。

1. 1. 创建用户组

命令：

groupadd es

1. 1. 创建用户

命令：

useradd es -g es -p elasticsearch

1. 1. 更改EFK所属用户

命令：

chown -R es:es EFK

1. 创建data数据目录和日志目录，使用es用户

5台机器都在opt/EFK路径下创建data目录和日志数据目录。

切换es用户：

su es

创建data目录：

mkdir -p /opt/EFK/elasticsearch_data/data/

创建log目录：

mkdir -p /opt/EFK/elasticsearch_data/logs/

1. 修改配置文件

cdh-1机器：vim opt/EFK/elasticsearch-6.3.1/config/elasticsearch.yml

配置内容：

cluster.name: futuristEs

node.name: es-1

# 是否为master

node.master: true

# 是否为数据节点

node.data: true

# 数据目录

path.data: /opt/EFK/elasticsearch_data/data

# 日志目录

path.logs: /opt/EFK/elasticsearch_data/logs

bootstrap.memory_lock: false

bootstrap.system_call_filter: false

# 本机IP

network.host: 0.0.0.0

# 本机http端口

http.port: 9200

# 指定集群中的节点中有几个有master资格的节点

discovery.zen.minimum_master_nodes: 1

# 指定集群中其他节点的IP

discovery.zen.ping.unicast.hosts: ["10.168.1.44","10.168.0.126","10.168.0.127","10.168.0.128","10.168.0.130"]

# ---------------------------------- 插件 -----------------------------------

# 下面两行配置为haad插件配置，5台服务器一致.

http.cors.enabled: true

http.cors.allow-origin: "*"

其余四台机器：vim opt/EFK/elasticsearch-6.3.1/config/elasticsearch.yml

其中，node.name分别为：es-2，es-3，es-4，es-5。

master为false，其余都一样。

cluster.name: futuristEs

node.name: es-2

# 是否为master

node.master: false

# 是否为数据节点

node.data: true

# 数据目录

path.data: /opt/EFK/elasticsearch_data/data

# 日志目录

path.logs: /opt/EFK/elasticsearch_data/logs

bootstrap.memory_lock: false

bootstrap.system_call_filter: false

# 本机IP

network.host: 0.0.0.0

# 本机http端口

http.port: 9200

# 指定集群中的节点中有几个有master资格的节点

discovery.zen.minimum_master_nodes: 1

# 指定集群中其他节点的IP

discovery.zen.ping.unicast.hosts: ["10.168.1.44","10.168.0.126","10.168.0.127","10.168.0.128","10.168.0.130"]

# ---------------------------------- 插件 -----------------------------------

# 下面两行配置为haad插件配置，5台服务器一致.

http.cors.enabled: true

http.cors.allow-origin: "*"

1. 修改 Linux下/etc/security/limits.conf文件设置

5台机器都修改配置，最后配置如下

vim /etc/security/limits.conf

* soft nofile 261444

* hard nofile 262144

es soft memlock unlimited

es hard memlock unlimited

1. 修改配置 Linux下/etc/security/limits.d/90-nproc.conf文件设置

5台机器都修改配置，最后配置如下

vim /etc/security/limits.d/90-nproc.conf

* soft nproc unlimited

root soft nproc unlimited

1. 修改配置 Linux下/etc/sysctl.conf文件设置

5台机器都修改配置，最后配置如下

vim /etc/sysctl.conf

vm.max_map_count = 262144

并执行命令：

sysctl -p

1. 启动

5台机器分布进入/opt/EFK/elasticsearch-6.3.1/bin路径

./elasticsearch

后台长期启动

./elasticsearch -d

查找ES进程

ps -ef | grep elastic

杀掉ES进程

kill -9 2382（进程号）

重启ES

sh elasticsearch -d

在浏览区输入：http://10.168.0.127:9200/

返回如下类似结果为正常启动

{

"name" : "es-3",

"cluster_name" : "futuristEs",

"cluster_uuid" : "_na_",

"version" : {

"number" : "6.3.1",

"build_flavor" : "default",

"build_type" : "tar",

"build_hash" : "eb782d0",

"build_date" : "2018-06-29T21:59:26.107521Z",

"build_snapshot" : false,

"lucene_version" : "7.3.1",

"minimum_wire_compatibility_version" : "5.6.0",

"minimum_index_compatibility_version" : "5.0.0"

},

"tagline" : "You Know, for Search"

}

Node.js安装
1. 下载Node.js

打开官网下载链接:https://nodejs.org/en/download/ ，下载的版本为：node-v8.11.3-linux-x64.tar.xz

1. 解压Node.js

在cdh-1机器上解压node-v8.11.3-linux-x64.tar.xz。

opt/EFK路径下：

tar -xvf node-v8.11.3-linux-x64.tar.xz

1. 修改环境变量

修改 /etc/profile

vim /etc/profile

export NODEJS_HOME=/opt/EFK/node-v8.11.3-linux-x64

export PATH=$PATH:$JAVA_HOME/bin:$NODEJS_HOME/bin

执行source /etc/profile

source /etc/profile

1. 测试

出现v8.11.3说明测试成功

node -v

v8.11.3

ElasticSearch-head插件安装
1. 采用nodejs安装

6.X中，elasticsearch-head

不能放在elasticsearch的 plugins、modules 目录下

不能使用 elasticsearch-plugin install

1. 下载ElasticSearch-head

下载地址https://github.com/mobz/elasticsearch-head

1. 解压

在cdh-1机器上解压elasticsearch-head-master.zip。

opt/EFK路径下：

unzip elasticsearch-head-master.zip

1. 安装Node.js

根据Node.js安装，进行安装node.js

1. npm install -g grunt-cli

/opt/EFK/elasticsearch-head-master路径下：

npm install -g grunt-cli

1. npm install

/opt/EFK/elasticsearch-head-master路径下：

npm install

1. 更改配置信息
  1. elasticsearch-5x下的 config/elasticsearch.yml

http.cors.enabled: true

http.cors.allow-origin: "*"

1. 1. elasticsearch-head下Gruntfile.js

connect: {

server: {

options: {

hostname: '0.0.0.0',

port: 9100,

base: '.',

keepalive: true

}

1. 1. 修改连接地址

最后配置如下

vim /opt/EFK/elasticsearch-head-master/_site/app.js

找到如下代码

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://localhost:9200";

更改为

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://10.168.1.44:9200";

1. grunt server

/opt/EFK/elasticsearch-head-master路径下测试启动

grunt server

后台长期启动

nohup grunt server &exit

1. 访问

访问地址：http://10.168.1.44:9100/

Kibnan安装
1. 解压

注意版本要和es版本相同。

在cdh-1机器上解压kibana-6.3.1-linux-x86_64.tar.gz。

opt/EFK路径下：

tar -zxvf kibana-6.3.1-linux-x86_64.tar.gz

1. 更改配置信息

最后配置如下

vim /opt/EFK/kibana-6.3.1-linux-x86_64/config/kibana.yml

elasticsearch.url: "http://10.168.1.44:9200" # kibana监控哪台es机器

server.host: "10.168.1.44" # kibana运行在哪台机器

1. 运行

Kibana6.3版本默认自带X-pack插件，故不需再次安装。

在/opt/EFK/kibana-6.3.1-linux-x86_64/bin路径下

./kibana

长期启动

nohup ./kibana &exit

查找进程号

fuser -n tcp 5601

杀死进程号

kill -9 13265

1. 访问

访问地址：http://10.168.1.44:5601

1. 汉化
  1. 下载汉化包

github上有汉化的项目,地址:https://github.com/anbai-inc/Kibana_Hanization

1. 1. 解压汉化包

在/opt/EFK/kibana-6.3.1-linux-x86_64路径下

unzip Kibana_Hanization-master.zip

1. 1. 运行main.pay文件

命令很简单,没错这是python脚本

在/opt/EFK/kibana-6.3.1-linux-x86_64/Kibana_Hanization-master路径下

python main.py "/opt/EFK/kibana-6.3.1-linux-x86_64/"

出现“恭喜，Kibana汉化完成！“表示成功

访问地址：http://10.168.1.44:5601

FileBeat安装
1. 解压

注意版本要和es版本相同。

在5台机器上解压filebeat-6.3.1-linux-x86_64.tar.gz。

opt/EFK路径下：

tar -zxvf filebeat-6.3.1-linux-x86_64.tar.gz

1. 创建配置文件

在/opt/EFK/filebeat-6.3.1-linux-x86_64路径下：

vim filebeat.yml

配置内容为：(path代表收集哪些文件夹下面的日志)

filebeat.inputs:

- type: log

enabled: false

paths:

- /var/log/audit/audit.log

filebeat.config.modules:

path: ${path.config}/modules.d/*.yml

reload.enabled: false

setup.template.settings:

index.number_of_shards: 5

setup.kibana:

host: "10.168.1.44:5601"

output.kafka:

enabled: true

hosts: ["10.168.1.44:9092","10.168.0.126:9092","10.168.0.127:9092","10.168.0.128:9092","10.168.0.130:9092"]

topic: 'futurist'

1. 启动

/opt/EFK/filebeat-6.3.1-linux-x86_64路径下：

./filebeat -e -c filebeat.yml -d "publish"

长期启动：

nohup ./filebeat -e -c filebeat.yml &

查找进程ID并kill掉：

ps -ef |grep filebeat

kill -9 进程号

Kafka（cdh集成）安装
1. 下载

csd包：http://archive.cloudera.com/csds/kafka/

这里下载的版本为：KAFKA-1.2.0.jar

parcel包： http://archive.cloudera.com/kafka/parcels/latest/

这里下载的版本为：KAFKA-3.1.0-1.3.1.0.p0.35-el6.parcel和KAFKA-3.1.0-1.3.1.0.p0.35-el6.parcel.sha1

其中，KAFKA-3.1.0-1.3.1.0.p0.35-el6.parcel.sha1后缀需要改为.sha

1. 集成实现
  1. 关闭集群，关闭cm服务

假如不关闭cm服务，会出现在添加kafka服务时找不到相关的服务描述。

1. 1. 上传包

将csd包放到cm安装节点下的 /opt/cloudera/csd目录下，如图：

将parcel包放到cm安装节点下的 /opt/cloudera/parcel-repo目录下，如图：

1. 1. 启动cm服务
  2. 分配并激活percel包

1. 1. 添加kafka服务

其中，brokerId在此次安装中由于的对应关系为（由于之前本地安装过kafka，故brokerId需按下面配置，正常来说自动生成，不需配置）：

主机	brokerId
cdh-1	1
cdh-2	2
cdh-3	5
cdh-4	3
cdh-5	4

1. 1. 启动kafka

Kafka（本地）安装
1. 下载

下载地址：https://kafka.apache.org/downloads

这里下载的版本为：kafka_2.11-1.1.0.tgz

1. 解压

在5台机器上解压kafka_2.11-1.1.0.tgz。

opt/EFK路径下：

tar -zxvf kafka_2.11-1.1.0.tgz

1. 修改配置文件

cdh-1机器修改配置，最后配置如下