【Elasticsearch学习之一】Elasticsearch

环境
　　虚拟机：VMware 10
　　Linux版本：CentOS-6.5-x86_64
　　客户端：Xshell4
　　FTP：Xftp4
　　jdk8
　

一、概念
ElasticSearch：
　　基于Lucene全文搜索框架;
　　实时的高扩展的分布式的开源搜索引擎;
　　Java开发,基于RESTful web接口;

Lucene是一个全文搜索框架，而不是应用产品。核心工作就是给搜索内容定位，使用方式：倒排索引。

何为倒排索引？
举个例子：有个文档，文档有以下两行数据
我是中国人（1）
中国是全球人口最多的国家,中国人也最多（2）

索引如下：
1，我 （1:1）｛0｝:(第1行：出现1次){偏移量0}
2，中国 (1:1) {2},(2:2){0，15}：(第1行：出现1次){偏移量2},(第2行：出现2次){偏移量0和15}

 

输入源：对于要处理的数据，可以是文本文件，可以是数据库数据，也可以网页，我们将其抽象为Document文档，文档里可以定义多个Field，比如context、size、path等等，每个field都会设置三个设置：是否保存、是否分词、是否索引；
分词处理：根据设置，进行过滤，分词
倒排索引：根据设置，进行索引
存储：根据设置，对于需要保存的数据进行保存，比如文档路径；

ES和关系型数据库的数据对比：

二、ES集群搭建

方案
PCS101 196.168.123.101
PCS101 196.168.123.102
PCS101 196.168.123.103

java版本要求：最低1.7

第一步：创建ES运行用户，ES不允许使用root运行

#创建用户
[root@PCS101 ~]# useradd cluster
#设置用户密码
[root@PCS101 ~]# echo 123456 | passwd --stdin cluster
#root创建目录 root 用户创建 /opt/cluster/es(普通用户无法创建)
[root@PCS101 ~]# mkdir -p /opt/cluster/es (注意：此时的目录权限属于root)
#目录权限赋给新用户
在父目录cluster下执行： chown cluster:cluster es

第二步：上传elasticsearch-2.2.1.zip至/usr/local/src
#切换用户 使用cluster用户解压elasticsearch-2.2.1.zip包至es目录，保证es文件属于用户cluster：

[root@PCS101 src]# su cluster
[cluster@PCS101 src]$ unzip /usr/local/src/elasticsearch-2.2.1.zip -d /opt/cluster/es

第三步：修改配置文件

[cluster@PCS101 es]$ cd /opt/cluster/es/elasticsearch-2.2.1/config && ll
total 8
-rw-rw-r--. 1 cluster cluster 3189 Jan 27 2016 elasticsearch.yml
-rw-rw-r--. 1 cluster cluster 2571 Jan 27 2016 logging.yml
[cluster@PCS101 config]$ vi elasticsearch.yml

修改：

---------------cluster-------------------------
cluster.name: wjy-es
----------------node-------------------------------
node.name: PCS101 (分发后各节点修改)
----------------network--------------------------------
network.host: 196.168.123.101 (分发后修改)
http.port:9200 (放开)

#末尾增加防脑裂：
#关闭多播模式 来一台加一台
discovery.zen.ping.multicast.enabled: false 
#按照自定义节点清单设置集群
discovery.zen.ping.unicast.hosts: ["196.168.123.101","196.168.123.102", "196.168.123.103"]
discovery.zen.ping_timeout: 120s
client.transport.ping_timeout: 60s

分发另外两个节点：

[cluster@PCS101 es]$ scp -r ./elasticsearch-2.2.1/ cluster@PCS102:`pwd`
[cluster@PCS101 es]$ scp -r ./elasticsearch-2.2.1/ cluster@PCS103:`pwd`

第四步：启动（ES启动比较慢）

#正常打印日志启动
[cluster@PCS101 bin]$ /opt/cluster/es/elasticsearch-2.2.1/bin/elasticsearch
#后台运行
[cluster@PCS101 bin]$ /opt/cluster/es/elasticsearch-2.2.1/bin/elasticsearch -d

验证：

[cluster@PCS101 ~]$ jps
9909 Jps
9517 Elasticsearch

访问三个节点，默认返回的是json串
http://196.168.123.101:9200
http://196.168.123.102:9200
http://196.168.123.103:9200

三、插件
上面访问返回的是json串，不太友好，这里安装图形可视化插件head，重启
第一步：ftp上传head插件包 拷贝至/opt/cluster/es/elasticsearch-2.2.1/下面

[root@PCS101 bin]$ cp -abr /usr/local/src/plugins/ /opt/cluster/es/elasticsearch-2.2.1/
[root@PCS101 bin]$ cd /opt/cluster/es/elasticsearch-2.2.1/plugins && chown -R cluster:cluster head

分发至102、103：

[root@PCS101 bin]$ su cluster && cd /opt/cluster/es/elasticsearch-2.2.1/plugins
[cluster@PCS101 plugins]$ scp -r ./head/ cluster@PCS102:`pwd`
[cluster@PCS101 plugins]$ scp -r ./head/ cluster@PCS103:`pwd`

第二步：重启

[cluster@PCS101 bin]$ /opt/cluster/es/elasticsearch-2.2.1/bin/elasticsearch -d

验证：
http://196.168.101:9200/_plugin/head?pretty
http://196.168.123.102:9200/_plugin/head?pretty
http://196.168.123.103:9200/_plugin/head?pretty

其他站点插件（以网页形式展现）
BigDesk Plugin (作者 Lukáš Vlček)
简介：这个主要提供的是节点的实时状态监控，包括jvm的情况，linux的情况，elasticsearch的情况
安装bin/plugin install lukas-vlcek/bigdesk
删除bin/plugin remove bigdesk
http://IP:9200/_plugin/bigdesk/
http://ip:9200/_cluster/state?pretty

Paramedic Plugin (作者 Karel Minařík)
简介：es监控插件

SegmentSpy Plugin (作者 Zachary Tong)
简介：查看es索引segment状态的插件

Inquisitor Plugin (作者 Zachary Tong)
简介：这个插件主要用来调试你的查询。

官网文档
elasticsearch详解
Elasticsearch实战干货
Lucene介绍与入门使用

196.168