elasticsearch的安装、部署

https://blog.csdn.net/lubin2016/article/details/81606753

1. elasticsearch的安装

1.1 集群规划

上传elasticsearch的tar.gz包至规划的集群各节点的目录下（规划两个节点rc-fhcb-10-es001，rc-fhcb-10-es002），如：本项目安装在/opt/fhcb/目录下

注意：建议elasticsearch的安装包在集群中各节点目录一致

1.2 修改配置文件

修改安装包下config目录下的配置文件elasticsearch.yml（集群每个节点）

# 集群的名称 
cluster.name: elasticsearch 
# 节点名称 
node.name: es-node-01 
# 配置文件的位置 
path.conf: /opt/fhcb/elasticsearch-1.6.0/config 
# 该节点存储的索引数据 
path.data: /opt/fhcb/elasticsearch-1.6.0/data 
# 临时工作目录
path.work: /opt/fhcb/elasticsearch-1.6.0/work 
# 日志文件位置 
path.logs: /opt/fhcb/elasticsearch-1.6.0/logs 
# 插件安装目录 
path.plugins: /opt/fhcb/elasticsearch-1.6.0/plugins 
# 设置该节点绑定的ip地址 
network.bind_host: rc-fhcb-10-es001 
# 设置其它节点与该节点交互的ip地址 
network.publish_host: rc-fhcb-10-es001 network.host: rc-fhcb-10-es001 # 设置tcp协议端口号 
transport.tcp.port: 9300 
# 设置http协议端口号 
http.port: 9200 
# 通过配置这个参数来防止集群脑裂现象 (集群总节点数量/2)+1 discovery.zen.minimum_master_nodes: 2 
# 默认设置为3s，此参数值为集群发现其它节点ping连接的超时时间，为避免网络延时，导致报错，故设置稍大些 
discovery.zen.ping.timeout: 40s 
# 设置是否打开多播发现节点，默认为true discovery.zen.ping.multicast.enabled: false 
# 在es1.x中默认使用的是组播(multicast)协议，默认会自动发现同一网段的es节点组建集群，
# 在es2.x中默认使用的是单播(unicast)协议，想要组建集群的话就需要在这指定要发现的节点信息了。 
discovery.zen.ping.unicast.hosts: ["rc-fhcb-10-es001", "rc-fhcb-10-es002"]

其它，节点下配置修改与上面大致相同，只是以下几个参数值不同：

node.name: es-node-02
network.bind_host: rc-fhcb-10-es002
network.publish_host: rc-fhcb-10-es002
network.host: rc-fhcb-10-es002

1.3 启动elasticsearch集群

在bin目录下，后台启动elasticsearch（集群每个节点）

方式一

./elasticsearch -d -Xms8g -Xmx8g

注意：参数-Xms8g -Xmx8g为ES使用的堆内存，具体大小应根据机器的配置确定，建议不要超过物理内存的一半，也不要超过32G；

方式二

在修改/etc/profile文件，添加如下内容
export ES_HEAP_SIZE=8g

然后在ES安装目录的bin目录下启动
./elasticsearch -d

1.4 插件安装（在线安装）

插件的安装不必每个节点都进行安装，进入到安装节点的elasticsearch安装目录的bin目录下

BigDesk Plugin : 对集群中es状态进行监控

./plugin -install lukas-vlcek/bigdesk

Elasticsearch Head Plugin插件

./plugin -install mobz/elasticsearch-head

Elasticsearch Sql 插件

./plugin install NLPchina/elasticsearch-sql -u https://github.com/NLPchina/elasticsearch-sql/releases/download/1.4.6/elasticsearch-sql-1.4.6.zip 

注意：sql插件重启后生效

Elasticsearch kopf插件

./plugin -install lmenezes/elasticsearch-kopf

注意：以上安装方式都是在线安装，安装节点必须能连接互联网

查看head页面索引http://10.13.11.21:9200/_plugin/head/

查看sql页面：http://10.13.11.21:9200/_plugin/sql/

关闭elasticsearch

前台运行，通过”CTRL+C“组合键来终止elasticsearch的运行

后台运行，通过“kill -9 进程号”停止运行

通过REST API接口关闭整个集群:

curl -XPOST http://主机ip:9200/_cluster/nodes/_shutdown

通过如下命令来关闭单个节点:

curl -XPOST http://主机ip:9200/_cluster/nodes/节点标志符（如：es-node-01)/_shutdown

1.5 插件安装（离线安装）

head插件

下载地址：https://github.com/mobz/elasticsearch-head

./plugin --install head --url file:///opt/softwares/elasticsearch-head-master.zip

sql插件

下载地址：https://github.com/NLPchina/elasticsearch-sql

./plugin --install sql --url file:///opt/softwares/elasticsearch-sql-1.4.6.zip

注意：sql插件重启后生效

bigdesk插件

下载地址：https://github.com/lukas-vlcek/bigdesk

./plugin --install bigdesk --url file:///opt/softwares/bigdesk-master.zip

kopf插件

下载地址：https://github.com/lmenezes/elasticsearch-kopf

./plugin --install kopf --url file:///opt/softwares/elasticsearch-kopf-master.zip

2. 数据导入导出工具elasticdump工具的安装

2.1 安装nodejs插件

方式一：在线安装

yum -y install epel-release
yum -y install nodejs
yum -y install npm

方式二：离线安装

下载地址：https://nodejs.org/dist/latest-v8.x

下载nodejs的安装包（xxx.tar.gz），解压到指定目录；

配置nodejs的环境变量

export NODE_HOME=/opt/fhcb/node-v8.11.3-linux-x64
export PATH=$NODE_HOME/bin:$PATH

验证

npm -v
node -v

2.2 安装elasticdump

方式一：（在线）

npm install elasticdump  # 局部安装，elasticdump安装在当前目录
#或
npm install elasticdump -g  # -g表示全局安装

注意： 此方式安装elasticdump需要联网
方式二：（离线）

# 前提条件：已经安装好node，npm
直接将已经安装好的node_modules安装包拷贝到需要安装的机器上即可

2.3 导出数据

进入elasticdump的安装目录node_modules，然后进入elasticdump/bin目录下操作；

./elasticdump --input http://10.13.11.21:9200/10news_f_hot_news_toplist --output /root/datas/10news_f_hot_news_toplist.json --type=data

注意：导出目录/root/datas必须存在，否则报错；

–type参数：analyzer，拷贝analyzer分词

–type参数：mapping，拷贝映射

–type参数：data，拷贝数据

导出特定内容的数据

./elasticdump --input http://192.168.102.108:9200/web_page_news_info_09 --output /root/datas/web_page_news_info_09.json --type=data 
--searchBody 
'
{
    "from": 0,
    "size": 200,
    "query": {
        "filtered": {
            "filter": {
                "bool": {
                    "must": {
                        "query": {
                            "match": {
                                "orgcode": {
                                    "query": "FHCB00001",
                                    "type": "phrase"
                                }
                            }
                        }
                    }
                }
            }
        }
    }
}
' 
# 导出web_page_news_info_09.json表中，orgcode字段为FHCB00001的记录

2.4 导入数据

./elasticdump --input /opt/data/web_page_book_summary_09.json --output http://10.13.11.21:9200 --type=data

注意：可以使用elasticdump –help查看插件的一些常用命令

3. IK中文分词器

3.1 安装ik分词器（ES集群每个节点）

3.1.1 到github下载分词器源代码，地址为：https://github.com/medcl/elasticsearch-analysis-ik

注意：下载与elasticsearch匹配的分词器源码版本，1.6.x对应的源码版本为1.4.0

3.1.2 解压elasticsearch-analysis-ik-1.4.0.zip，然后编译源码
3.1.3 将解压目录文件中config/ik文件夹复制到ES安装目录config文件夹下
3.1.4 把 arget eleaseselasticsearch-analysis-ik-1.4.1.zip 解压到 ES安装目录/plugins/analysis-ik/
3.1.5 将elasticsearch-analysis-ik-1.4.0.jar复制到ES安装目录/lib下
3.1.6 修改ES的配置文件config/elasticsearch.yml，增加ik的配置

index:
    analysis:
        analyzer:
            ik:
                alias:[ik_analyzer]
                type:org.elasticsearch.index.analysis.IkAnalyzerProvider
            ik_max_word:
                type:ik
                use_smart:false
            ik_smart:
                type:ik
            use_smart:true
index.analysis.analyzer.default.type:ik

注意：全局范围内所有的索引都将受到影响，也可以只对某个索引设置分词器

3.1.7 重启elasticsearch

3.1.8 验证分词效果

#使用分词器 
http://10.11.2.105:9200/web_page_book_summary_09/_analyze?analyzer=ik_smart&pretty=true&text=中国特社会主义 
{ "tokens" : [ { "token" : "中国特色社会主义", "start_offset" : 0, "end_offset" : 8, "type" : "CN_WORD", "position" : 1 } ] } 

#没有使用分词器 
http://10.13.11.21:9200/web_page_book_summary_09/_analyze?analyzer=standard&pretty=true&text=中国特社会主义 
{
    "tokens": [{
        "token": "中",
        "start_offset": 0,
        "end_offset": 1,
        "type": "<IDEOGRAPHIC>",
        "position": 1
    }, {
        "token": "国",
        "start_offset": 1,
        "end_offset": 2,
        "type": "<IDEOGRAPHIC>",
        "position": 2
    }, {
        "token": "特",
        "start_offset": 2,
        "end_offset": 3,
        "type": "<IDEOGRAPHIC>",
        "position": 3
    }, {
        "token": "色",
        "start_offset": 3,
        "end_offset": 4,
        "type": "<IDEOGRAPHIC>",
        "position": 4
    }, {
        "token": "社",
        "start_offset": 4,
        "end_offset": 5,
        "type": "<IDEOGRAPHIC>",
        "position": 5
    }, {
        "token": "会",
        "start_offset": 5,
        "end_offset": 6,
        "type": "<IDEOGRAPHIC>",
        "position": 6
    }, {
        "token": "主",
        "start_offset": 6,
        "end_offset": 7,
        "type": "<IDEOGRAPHIC>",
        "position": 7
    }, {
        "token": "义",
        "start_offset": 7,
        "end_offset": 8,
        "type": "<IDEOGRAPHIC>",
        "position": 8
    }]
}

3.2 IK分词器

ik_max_word: 会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合；
ik_smart: 会做最粗粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”。

4. 问题集锦

问题1：由SSL引发的问题

nodejs的npm安装模块时候报错：npm ERR! Error: CERT_UNTRUSTED

解决方案：

npm config set strict-ssl false

问题2：npm安装elasticdump时报错

SyntaxError: Unexpected identifier

解决方案：升级一下nodejs版本

npm install -g n
n stable