elasticsearch 环境搭建

准备环境
1、JDK1.8版本，在5.X版本之后要求必须使用JDK8级以上版本
2、准备elasticsearch安装包，我这里使用的是6.X版本的
3、准备好Linux，我这里准备了三台centos7来进行搭建

下面说下如果不会进行搭建Linux的可以找曾经的docker这个章节进行学习，docker第一章有介绍到如何搭建环境

这里给出相应的下载地址

JDK1.8：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Elasticearch：https://www.elastic.co/downloads/elasticsearch
centos7：https://www.centos.org

这里需要你提前安装好JDK环境，这个就非常简单了，如果这个都搞不定的话，是不会来学习这个技术的！所以不再这里进行详细的说明了！

下面进行的是安装过程，这里就进行流水账的方式进行记录了

首先我分配了三台Linux虚拟机：

地址	192.168.56.60	192.168.56.61	192.168.56.62
名称	ETL-node1	ETL-node2	ETL-node3
作用

一、单节点安装配置及配置文件参数说明

上面是准备好的基础环境，这里是三台Linux都已经装好了JDK环境，并且安装文件以及放在了/usr/local/server目录下面

如上图环境已经准备完毕，左边的是node1，右上的是node2，右下是node3

解压elasticsearch-6.3.zip文件

$ yum install -y zip unzip
$ unzip elasticsearch-6.3.zip

先来看下目录结构吧

bin：存放着一些脚本
lib：库文件
logs：日志文件
config：配置文件
modules：加载的模块列表，内置插件
plugins：自定义插件

去看elasticsearch.yml配置文件中的属性吧：

cluster.name：
node.name：
cluster.name: elasticsearch
node.name: es-node01
bootstrap.memory_lock: true 
network.host: 192.168.1.101
bootstrap.system_call_filter: false
http.port: 9200
bootstrap.memory_lock: true
#旧版本叫bootstrap.mlockall: true

按照上面这个内容将其配置好，然后就可以进行启动了！

我这里整理一份我的node1节点的elasticsearch.yml配置信息：

cluster.name: elasticsearch
node.name: node-01
bootstrap.memory_lock: true
network.host: 192.168.56.60
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.56.61", "192.168.56.62"]
discovery.zen.minimum_master_nodes: 3
gateway.recover_after_nodes: 3

node1节点的jvm-options配置文件

修改jvm内存设置，这里根据自己的具体情况进行设置

-Xms1g
-Xmx1g

使用命令

$ ./bin/elasticsearch

启动的时候需要注意，之前我都是使用的root用户进行操作的，但是elasticsearch为了安全起见，是不允许使用root进行启动的，所以我们先创建一个账号和用户组，然后把elasticsearch的文件夹设置成这个账号和用户组中的文件，现在我的elasticsearch文件下的所有文件都是root:rootroot用户和root用户组下面的内容

创建用户用户组：

$ groupadd elc
$ useradd elc -g elc -p elc
$ chown -R elc:elc elasticsearch-6.3.0

重新设置一个好记的密码给elc用户
使用下面命令，后面输入两次密码就可以了

$ passwd elc

想要使用sudo不输密码，去修改下面文件

$ sudo vim /etc/sudoers

保存使用qw!

好了现在开始在进行启动

启动之前切换用户，运行elasticsearch启动脚本，这个脚本在elasticsearch文件目录的bin目录下面

$ su elc
$ ./bin/elasticsearch

启动的时候报错了，想办法把他解决掉

二、启动错误解决

[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
[2]: memory locking requested for elasticsearch process but memory is not locked
[3]: max number of threads [3886] for user [elc] is too low, increase to at least [4096]
[4]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

来看一下这四个错误：

1、[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

原因：无法创建本地文件问题，用户最大可创建文件数太少

解决办法：切换到root用户，编辑/etc/security/limits.conf配置文件，添加相关内容

* soft nofile 65536
* hard nofile 131072

备注：* 代表Linux所有用户名称

2、[2]: memory locking requested for elasticsearch process but memory is not locked

原因：因为我们在配置文件中配置了锁定内存，但是现在elasticsearch无法锁定内存，所以报错

解决办法：

切换到root用户，编辑/etc/security/limits.conf配置文件，添加如下内容

* soft memlock unlimited
* hard memlock unlimited

保存、退出、重新登录才可生效

临时取消限制

ulimit -l unlimited

增加/etc/security/limits.conf解决上面两个问题

重新启动

只剩下后面两个错误了

注意：上面这两个错误需要保存退出之后重新登录才有效

3、[3]:max number of threads [3886] for user [elc] is too low, increase to at least [4096]

原因：
无法创建本地线程，用户最大可创建线程数太少

解决办法：
切换到root用户，修改文件/etc/security/limits.d/90-nproc.conf

这里需要注意的是，在centos6中是90-nproc.conf这个文件，在centos7中是20-nproc.conf这个文件

在修改完成之后需要重启机器或者退出终端重新进入才能生效

将

* soft nproc 3886

修改为

* soft nproc 4096

这里配置完成之后使用命令，查看

$ ulimit -a

因为我的是centos7设置了这个地方并没有生效所以，我还要在/etc/security/limits.conf文件中添加两个配置

* soft nproc 4096
* hard nproc 4096

设置完成之后退出终端，使用命令查看

上面这些配置就是我们设置的这些配置，包括什么文件打开限制，用户线程限制等等

4、[4]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

原因：最大虚拟内存太小

解决办法：切换到root用户下，修改配置文件/etc/sysctl.conf

添加如下配置

vm.max_map_count=655360

修改完成之后执行

$ sysctl -p

上面这些内容设置完成之后重新启动elasticsearch

好了启动是启动完成了，也没有报错，但是没有启动成功，因为我们在配置文件中配置了服务发现新相关的内容，他需要三个节点启动成功之后然后才能启动，我们是需要3个节点，现在只有一个，等会我们按照上面的配置在将其他节点进行配置上！

三、配置其他节点

上面呢，我们只是吧192.168.56.60这台机器上的node1节点配置完成，接下来根据上面的两节内容将下面的剩余节点配置完成，那么在后面的两个节点当中我就只会列出我的配置文件，错误的解决上面已经说了，包括jdk8的安装，用户的新建，以及用户权限，文件权限这些内容后面就不会再讲

192.168.56.61机器node2节点elasticsearch.yml配置文件列表：

cluster.name: elasticsearch
node.name: node-02
node.attr.rack: r1
bootstrap.memory_lock: true
network.host: 192.168.56.61
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.56.60", "192.168.56.62"]
discovery.zen.minimum_master_nodes: 3
gateway.recover_after_nodes: 3

192.168.56.62机器node3节点elasticsearch.yml配置文件列表：

cluster.name: elasticsearch
node.name: node-03
node.attr.rack: r1
bootstrap.memory_lock: true
network.host: 192.168.56.62
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.56.60", "192.168.56.61"]
discovery.zen.minimum_master_nodes: 3
gateway.recover_after_nodes: 3

上面这两个就是node2和node3的节点配置，按照上面的配置文件进行配置的

按照上面的配置配置完成之后，分别启动三台节点

这个时候有个问题，就是防火墙的问题，他们之间是需要进行互相之间进行同行的，所以说，要么你把防火墙关闭，要么吧他们需要的通信端口打开

他们之间有两个默认端口：9200、9300

就是上面这两个端口

centos7关闭防火墙，并且关闭开机自启动

$ systemctl stop firewalld
$ systemctl disable firewalld

或者去开放端口

centos7开放端口

#添加端口（--permanent）永久生效
$ firewall-cmd --zone=public --add-port=9200/tcp --permanent
$ firewall-cmd --zone=public --add-port=9300/tcp --permanent
#重新加载
$ firewall-cmd --reload
#查看端口
$ firewall-cmd --zone= public --query-port=80/tcp
#删除端口
$ firewall-cmd --zone= public --remove-port=80/tcp --permanent

上面这些关于防火墙的东西设置完成之后就进行启动

#守护进程方式启动
$ ./bin/elasticsearch
#后台启动
$ ./bin/elasticsearch -d

分别启动三个节点

启动完成之后可以看到如上信息，很明显现在master节点是node1，现在我们可以通过elasticsearch提供的一些restful的接口尝试着访问他，看我们的集群是否已经搭建成功

看上面说明是成功了哈！

四、安装elasticsearch-head插件

我们在使用elasticsearch当中怎么能通过更加直观或者高效的方式进行管理或者查看，那么这里就有了一个插件能够在网页中让我们进行一些对elasticsearch基本的操作和查看的功能，这个插件也是用elasticsearch提过的restful进行整合写出来的，方便使用，下面就来进行安装吧

插件地址：https://github.com/mobz/elasticsearch-head

将插件下载下来，我这里放在了/usr/local/server目录下面，把名字改成了elasticsearch-head，可以来看一下解压的目录结构

解压

$ unzip elasticsearch-head-master.zip

查看目录信息：

因为该插件是使用nodejs编写的，所以我们需要安装nodejs环境，并且使用npm进行安装改插件

安装nodejs环境：

使用yum进行安装，在安装环境的使用我是使用的root用户进行安装的

//这里下载nodejs的一些镜像文件，默认的基础yum库是没有nodejs相关的库的（这里下载的是最新版本的nodejs库）
$ curl --silent --location https://rpm.nodesource.com/setup_6.x | bash -
//安装nodejs环境
$ yum -y install nodejs

如果没有curl命令的话，安装他

$ yum install -y curl

查看nodejs和npm版本信息

$ node -v
$ npm -v

说明安装成功

下面再来说下，由于nodejs中的npm库的站点是在国外，所以使用起来非常慢，所以下面就挂载个淘宝的镜像，这样快些

如下

$ npm install -gd express --registry=http://registry.npm.taobao.org

或者使用

这种方式是直接设置了镜像仓库，直接设置是淘宝的镜像，而上面这种方式在每次使用安装的时候都会要求使用--registry来指定镜像仓库，上面实际上就是安装了一个express的插件，这个插件是为了演示安装的，你可以不用安装，只是为了说明，安装的时候需要指定镜像仓库，而下面这种方式是直接设置了镜像仓库，所以每次安装的时候不需要再去手动指定

$ npm config set registry http://registry.npm.taobao.org

上面的操作完成之后进入elasticsearch-head插件目录内，然后安装插件

安装插件

$ npm install 

等着上面跑完就完成了

很尴尬的是报错了，看下是由于什么引起的报错

看上面的信息是因为下载了一个文件phantomjs-2.1.1-linux-x86_64.tar.bz2这个文件在/tmp/phantomjs/这个目录下面，然后它使用tar -jxf来解压出错了，既然是这样，那我们自己手动帮他解压一下吧

解压tar.bz2需要安装bzip2解压软件，然后再进行解压

$ yum install -y bzip2
$ bzip2 -d phantomjs-2.1.1-linux-x86_64.tar.bz2

解压完成之后可以看到tar.bz2编程了tar

这个时候再帮他吧这个解压了吧

$ tar -vxf phantomjs-2.1.1-linux-x86_64.tar

然后再回到elasticsearch-head插件进行重新安装

$ npm install

可以看到我们帮他解压了，之后之前的错误没了

上面的安装完成之后进行下面的内容设置，下面进行设置elasticsearch-head和elasticsearch-head进行整合的配置，需要去配置elasticsearch-head的相关设置

1、设置/elasticsearch-head/Gruntfile.js文件

connect: {
         	server: {
                 options: {
	                    hostname: '192.168.56.61',
	                    port: 9100,
	                    base: '.',
	                    keepalive: true
                	}
              }
           } 

如上配置是设置我们需要监控的机器hostname

2、设置/elasticsearch-head/_site/app.js文件

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://localhost:9200";

全局搜索如下内容将其修改为如下内容

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://192.168.56.61:9200";

这里将localhost修改成你安装elasticsearch-head所在机器的ip，我这里安装在192.168.56.61这台机子上的

3、设置elasticsearch所有相关节点，让这些节点支持跨域请求

在所有的elasticsearch机器上面修改elasticsearch.yml文件如下，增加如下内容

# 是否支持跨域
http.cors.enabled: true
# *表示支持所有域名
http.cors.allow-origin: "*"

我这边已经设置完成，我在三台机子上面都已经设置了，不设置的话elasticsearch.head是不能请求到其他三个节点的接口的，因为跨域问题

上面的这三个设置设置完成之后，尝试启动elasticsearch-head

在elasticsearch-head目录下使用该命令进行启动，我这里使用的是root用户，因为安装也是用root进行安装的

$ npm run start

下面这种方式是后台启动

/usr/local/server/elasticsearch-head/node_modules/grunt/bin/grunt server &

启动之后看到如下结果：

说明启动成功

在浏览器中访问这个地址，如下内容

我们就能通过在web页面上进行管理我们的集群情况，我们能够查询搜索elasticsearch中的数据信息，后面会专门写这部分的内容，这里就只是做一个简单的介绍，具体怎么使用后面再说！哎，又给自己挖了个坑！坑太多，都怕自己填不过来啊！慢慢填吧。。。。。。。

elasticsearch-head这个插件只需要安装在一台上就可以了，他就能够链接到其他集群的机子！

五、安装Kibana

这个也是一个标配了，使用elasticsearch的，Kibana也是一个工具了，同样也是给我们提供了操作elasticsearch的一些工具，同时能够根据elasticsearch的数据给我们生成一些图标啊，统计图啊，地图啊等等东西！

来吧，继续安装吧，因为之前我把elasticsearch-head安装在了192.168.56.61这台机子上，那么我Kibana也就安装在这台机子上吧！

官方下载地址：https://www.elastic.co/cn/downloads/kibana

这里我把下载好的文件放在这里了

解压，然后把这个文件分配在elc用户和用户组权限下

$ tar -xvf kibana-6.3.0-linux-x86_64.tar
$ chown -R elc:elc kibana-6.3.0-linux-x86_64

kibana的安装非常简单的，毕竟是官方出的东西

下面进行修改kibana的配置文件，在kibana解压出来的目录中config/kibana.yml中进行修改

暂时修改这三个就足够了，吧ip配成安装的这台的ip就可以了，配成其他另外两台的也是可以的但是server.host这个还是配置成安装的机器的ip

然后就可以尝试启动了

$ ./bin/kibana

启动成功，现在就去访问kibana吧

http://192.168.56.61:5601

能够访问到，也能够看到我们集群的状态

kibana是一个数据可视化平台，有非常多的功能值得去探索和使用，在大数据数据分析方面还是非常有用的！安装非常简单！至于怎么去使用后面再来进行详细的探索吧！