1、部署配置ES,需要配置JDK 环境采用JDK1.8版本,配置JAVA环境变量,vi /etc/profile加入如下代码:
export JAVA_HOME=/usr/java/jdk1.8.0_131 export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOMR/bin
#使环境变量立刻生效,同时查看JAVA版本,显示版本信息,则证明安装成功
source /etc/profile
java -version
2、安装ELK软件包
192.168.0.111 Elasticsearch 192.168.0.112 Kibana 192.168.0.113 Logstash
下载ES并设置配置
tar xzf elasticsearch-5.3.0.tar.gz mv elasticsearch-5.3.0 /usr/local/elasticsearch/
修改vim /usr/local/elasticsearch/config/elasticsearch.yml文件
设置监听地址为network.hosts:0.0.0.0
要用普通用户登录
useradd elk chown -R elk:elk /usr/local/elasticsearch/ su - elk /usr/local/elasticsearch/bin/elasticsearch -d
3、Elasticsearch 配置可能遇到的故障如果内存不够需要先改小
ons
2)内核参数设置问题
解决方法: vim /etc/security/limits.conf * soft nofile 65536 * hard nofile 65536 vim /etc/security/limits.d/90-nproc.conf soft nproc 2048 vi /etc/sysctl.conf vm.max_map_count=655360
执行 sysctl -p 或者退出终端即可生效
4、Elasticsearch插件部署
ES新版本(5.x以上)部署ES HEAD插件方法如下
1)安装nodejs和npm
curl -sL -o /etc/yum.repos.d/khara-nodejs.repo https://copr.fedoraproject.org/coprs/khara/nodejs/repo/epel-7/khara-nodejs-epel-7.repo yum install -y nodejs nodejs-npm
2) 下载源码并安装
git clone https://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head/
#基于国内taobao镜像安装grunt;npm install -g grunt --registry=https://registry.npm.taobao.org
#安装Head插件;
npm install
#npm install --registry=https://registry.npm.taobao.org
ES配置修改&elasticsearch-head插件源码修改
3)修改elasticsearch.yml,增加跨域的配置;
http.cors.enabled: true
http.cors.allow-origin: "*"
4) 编辑elasticsearch-head/Gruntfile.js,修改服务器监听地址;
增加hostname属性,将其值设置为*,以下两种配置任选一种;
# Type1 connect: { hostname: '*', server: { options: { port: 9100, base: '.', keepalive: true } } } # Type 2 connect: { server: { options: { hostname: '*', port: 9100, base: '.', keepalive: true } } }
5)编辑head/_site/app.js,修改head连接es的地址;
将localhost修改为ES的IP地址。
this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://localhost:9200";
#将localhost修改为ES的IP地址
this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://192.168.0.111:9200";
6)启动Elasticsearch-head独立服务;
cd elasticsearch-head/
nohup ./node_modules/grunt/bin/grunt server &
5、Kibana WEB安装配置
下载源码直接解压即可
tar xzf kibana-5.3.0-linux-x86_64.tar.gz mv kibana-5.3.0-linux-x86_64 /usr/local/kibana/
修改kibana配置文件信息,设置ES地址:
vim /usr/local/kibana/config/kibana.yml
6)Logstash客户端配置
由于Logstash基于JAVA语言开发,Agent部署需要安装JDK运行环境库
tar xzf jdk-8u121-linux-x64.tar.gz mkdir -p /usr/java/ ;mv jdk1.8.0_131/ /usr/java/
vim /etc/profile 添加如下代码:
export JAVA_HOME=/usr/java/jdk1.8.0_131 export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOMR/bin
解压Logstash软件;
tar xzf logstash-5.3.0.tar.gz mv logstash-5.3.0 /usr/local/logstash/
7、ELK收集系统标准日志
创建收集日志配置目录;
mkdir -p /usr/local/logstash/config/etc/
cd /usr/local/logstash/config/etc/
创建ELK整合配置文件:vim logstash.conf,内容如下:
input { stdin { } } output { stdout { codec => rubydebug {} } elasticsearch { hosts =>"192.168.0.111" } }
8、启动logstash服务
/usr/local/logstash/bin/logstash -f logstash.conf