环境搭建-ELK单节点环境搭建(02) +elasticsearch-sql插件

写在前面

常说:“工欲善其事必先利其器”,这话想想也是一点毛病也没有,在开始学习任何技术之前,我们总得有一个实际可供操作的实验环境.有人说,“看十遍不如用一遍”,我想大概就是这个道理.废话不多说,直接开始.

实验环境

CentOs7.2
JDK1.8及其以上
node-v8.10.0-linux-x64(安装Head插件,版本>V8)
elasticsearch-6.1.3
kibana-6.1.3-linux-x86_64
logstash-6.1.3
ps:注意在选择ELK版本的时候,每个组件的版本号要一致
这个直接官网下载即可,下载还是很快地

新建用户

在正式开始之前,我先说明,因为elasticsearch是不能以root用户启动的.所以,为了避免这种麻烦的事情发生.我们事先创建好用户.

[root@csylh ~]# groupadd liuge
[root@csylh ~]# useradd liuge -g liuge
[root@csylh ~]# passwd liuge
Changing password for user liuge.
New password: 
Retype new password: 
passwd: all authentication tokens updated successfully.

为liuge用户赋予ROOT权限,方便后面命令的执行
[root@csylh ~]# vim /etc/sudoers

## Allow root to run any commands anywhere 
root    ALL=(ALL)       ALL
liuge   ALL=(ALL)       ALL

JDK和Node环境的配置

要启动ES集群,你必须保证你的机器上必须先要安装上jdk的运行环境先.我这里采用比较简单的安装方式.官网下载解压后,添加到当前用户的环境变量就可以啦
1.下载解压到指定目录

[liuge@csylh jdk1.8.0_161]$ pwd
/home/liuge/apps/jdk1.8.0_161
#我的jdk解压地址

2.添加到环境变量

[liuge@csylh jdk1.8.0_161]$ vim ~/.bash_profile 
# .bash_profile
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi
# User specific environment and startup programs
PATH=$PATH:$HOME/.local/bin:$HOME/bin
export PATH
#jdk环境
export JAVA_HOME=/home/liuge/apps/jdk1.8.0_161
export PATH=$JAVA_HOME/bin:$PATH

#:wq保存退出

3.再source一下环境变量,查看

[liuge@csylh jdk1.8.0_161]$ source ~/.bash_profile 
[liuge@csylh jdk1.8.0_161]$ java -version
java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)
[liuge@csylh jdk1.8.0_161]$ 

Node环境的安装
可能很多小伙伴不熟悉没有接触过node,我其实也不熟悉,我们这里也只是需要使用node提供的npm这个包管理工具来安装Head插件而已.简单命令
1.下载啊(直接去官网下载,版本大于v8即可)
2.解压啊

[liuge@csylh softs]$ ll
total 270304
-rw-r--r-- 1 root root  28454781 Jan 30 23:07 elasticsearch-6.1.3.tar.gz
-rw-r--r-- 1 root root  64640541 Jan 30 23:07 kibana-6.1.3-linux-x86_64.tar.gz
-rw-r--r-- 1 root root 118581153 Jan 30 23:07 logstash-6.1.3.tar.gz
-rw-r--r-- 1 root root    921421 Mar 31 12:50 master.zip
-rw-r--r-- 1 root root  63887360 Mar 31 12:50 node-v8.10.0-linux-x64.tar
[liuge@csylh softs]$ tar -xf node-v8.10.0-linux-x64.tar -C ../apps/
[liuge@csylh softs]$ ll ../apps/
total 8
drwxr-xr-x 8 root  root  4096 Mar 31 12:50 jdk1.8.0_161
drwxrwxr-x 6 liuge liuge 4096 Mar  7 06:47 node-v8.10.0-linux-x64
[liuge@csylh softs]$ 

3.添加到环境变量

:wq保存退出
4.source环境变量,检查是否成功

[liuge@csylh node-v8.10.0-linux-x64]$ source ~/.bash_profile
[liuge@csylh node-v8.10.0-linux-x64]$ node -v
v8.10.0
[liuge@csylh node-v8.10.0-linux-x64]$ 

看到上面的输出,就说明你的基础环境已经安装完毕

正式开始

前面讲了这么久的基础环境的配置,终于可以正式搭建我们的ELK环境啦

ElasticSearch的安装

1.下载啊(前面也说过,直接在官网下载就可以啦),这是官网的下载地址
https://www.elastic.co/downloads/past-releases,我这里选择的是6.1.3版本
我直接使用wget命令,下载到服务器上的

[liuge@csylh softs]$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.1.3.tar.gz

2.解压到指定目录

3.做基础配置
因为我使用的是腾讯云的2G内存的服务器,所以需要在某些地方做一定修改.

编辑JVM文件,默认分配jvm空间大小为2g，需要改小一点

我这里修改为256M,这个大小主要看自己的服务器的内存大小
编辑elasticsearch.yml文件
修改一下几项:
cluster.name: liuge-cluster #集群名称，以此作为是否是同意集群的判断
node.name: node-liuge #节点名称，以此作为集群中不同节点的分区条件
path.data: /home/liuge/datas/data #数据存储地址 文件目录需要自己新建
path.logs: /home/liuge/datas/logs #日志存储地址
network.host: 0.0.0.0#（主机地址）对外发布的网络地址,因为我需要远程
http.port: 9200 #ES默认监听的端口

上面的host地址说明:因为我需要开启远程连接,所以就设置为0.0.0.0,你本地的话,直接localhost就是可以的

4.在开始启动之前:我们需要修改系统的环境参数

系统参数要求
fd 最低需要65536
vm 最低262144
max locked memory最低64

以Root用户执行下面语句即可

[root@csylh ~]# echo "* soft nofile 65536" >> /etc/security/limits.conf 
[root@csylh ~]# echo "* hard nofile 65536" >> /etc/security/limits.conf 
[root@csylh ~]# echo "* soft memlock unlimited" >> /etc/security/limits.conf 
[root@csylh ~]# echo "* hard memlock unlimited" >> /etc/security/limits.conf 
[root@csylh ~]# echo "vm.max_map_count = 262144" >> /etc/sysctl.conf 
[root@csylh ~]# sysctl -p 
vm.max_map_count = 262144
vm.max_map_count = 262144
[root@csylh ~]# ulimit -l unlimited
[root@csylh ~]# 

这样就可以正式启动啦:

./bin/elasticsearch

[liuge@csylh elasticsearch-6.1.3]$ pwd
/home/liuge/apps/elasticsearch-6.1.3
[liuge@csylh elasticsearch-6.1.3]$ ./bin/elasticsearch

后台永久启动

nohup ./bin/elasticsearch &

看见上面的输出,就说明,启动成功
web测试:

解决启动可能报错问题
ERROR: [1] bootstrap checks failed…
你需要在配置文件中添加:

7.3.2版本可能出现如下错误：
ERROR: [1] bootstrap checks failed
[1]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured

vim config/elasticsearch.yml
cluster.initial_master_nodes: [“node-1”, “node-2”]
修改为一个节点
cluster.initial_master_nodes: [“node-1”]

安装head插件

1.下载啊

[liuge@csylh softs]$ wget https://github.com/mobz/elasticsearch-head/archive/master.zip

2.解压啊
3.进入解压后的目录,使用npm install 安装(稍微有点慢,静静等待)
or
npm -g install phantomjs-prebuilt@2.1.16 --ignore-script

4.启动head插件:npm run start

Kibana安装

还是老套路,下载,解压
下载地址:https://www.elastic.co/downloads/kibana
我这里下载:

[liuge@csylh softs]$ wget https://artifacts.elastic.co/downloads/kibana/kibana-6.1.3-linux-x86_64.tar.gz

ps:注意位数的选择
解压之后,

[liuge@csylh softs]$ tar -zxvf kibana-6.1.3-linux-x86_64.tar.gz -C ../apps/

进去到主目录,修改默认的配置文件
[liuge@csylh config]$ vim kibana.yml

# 分别找到以下几项进行修改
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://你的公网地址(或者是localhost):9200"
#:wq保存退出

这样就可以启动啦:

启动成功,注意再启动kibana之前需要先启动elasticsearch
web测试:

Kibana常用功能说明

Discover数据搜索查看
Visualize图表制作
Dashboard仪表盘制作
Timelion时序数据的高级可视化分析
DevTools开发者工具（经常会用到）
Managerment配置管理

Logstash 安装

软件的安装都是很类似的
下载,解压,做一定配置的修改
1.下载地址
https://www.elastic.co/downloads/past-releases
我这里下载的是:

[liuge@csylh softs]$ wget https://artifacts.elastic.co/downloads/logstash/logstash-6.1.3.tar.gz

2.解压到指定目录

3.进入到解压后的目录,做配置的修改
jvm参数

4.开始验证;
简单测试Logstash服务是否正常，预期将输入的内容结构化的输出到界面上

[liuge@csylh logstash-6.1.3]$ bin/logstash -e 'input{stdin{}} output{stdout{}}'

测试通过.说明我们的logstash安装成功

------好啦,到这里,我们的ELK环境就搭建好啦.接下来,我们就是去学习如何去使用这里组件,下一篇准备把X-pack这个插件装上.---------

安装X-pack

关闭登录功能
vim elasticsearch.yml
新增：
xpack.security.enabled: false

---------------2019-5-24更新：elasticsearch-sql插件-------------------------
github 地址：https://github.com/NLPchina/elasticsearch-sql
参照官网进行安装：
可能需要前置的安装es-sql依赖node环境【一般自带npm好像】
1.安装插件（我先下载下来，再传到服务器上的。也可以直接安装）
方式一：直接安装

./bin/elasticsearch-plugin install https://github.com/NLPchina/elasticsearch-sql/releases/download/6.2.4.0/elasticsearch-sql-6.2.4.0.zip

方式二：下载手动安装，需要注意的就是需要加file:前缀

./bin/elasticsearch-plugin install file:./elasticsearch-sql-6.2.4.0.zip

2.Basic Usage【直接拷贝官网了】

2.1 On elasticsearch 1.x / 2.x, visit the elasticsearch-sql web front-end:

http://localhost:9200/_plugin/sql/

2.2 On elasticsearch 5.x/6.x, use elasticsearch sql site chrome extension (make sure to enable cors on elasticsearch.yml). Alternatively, download and extract site, then start the web front-end like this:

wget https://github.com/NLPchina/elasticsearch-sql/releases/download/5.4.1.0/es-sql-site-standalone.zip
unzip  es-sql-site-standalone.zip
cd site-server

执行如下安装命令：
npm install express --save

可以在site-server/site_configuration.json配置文件中修改启动服务的端口
{
"port":8081
}

重启es，再启动es-sql前端
node node-server.js 

启动后，访问http://192.168.1.109:8081/ 然后配置右上角es地址