ElasticSearch：集群搭建(基于Docker)

ES集群简介

elasticsearch是天生支持集群的,他不需要依赖其他的服务发现和注册的组件,如zookeeper这些，因为他内置了一个名字叫ZenDiscovery.的模块，是elasticsearch,自己实现的一套用于节点发现和选主等功能的组件，所以elasticsearch做起集群来非常简单，不需要太多额外的配置和安装额外的第三方组件。

一个运行中的Elasticsearch实例称为一个节点，而集群是由一个或者多个拥有相同cluster.name配置的节点组成，它们共同承担数据和负载的压力。当有节点加入集群中或者从集群中移除节点时，集群将会重新平均分布所有的数据。

当一个节点被选举成为主节点时，它将负责管理集群范围内的所有变更，例如增加、删除索引，或者增加、删除节点等。而主节点并不需要涉及到文档级别的变更和搜索等操作，所以当集群只拥有一个主节点的情况下，即使流量的增加它也不会成为瓶颈。任何节点都可以成为主节点。我们的示例集群就只有一个节点，所以它同时也成为了主节点。

作为用户，我们可以将请求发送到集群中的任何节点，包括主节点。每个节点都知道任意文档所处的位置，并且能够将我们的请求直接转发到存储我们所需文档的节点。无论我们将请求发送到哪个节点，他都能负责从各个包含我们所需文档的节点收集回数据，将最终结果返回到客户端，es对这一切的管理都是透明的。

集群搭建

sysctl -w vm.max_map_count=262144
docker network ls
docker network create --driver  bridge --subnet=172.18.12.0/16 --gateway=172.18.1.1 mynet

创建三个master节点

for port in $(seq 1 3); 
do 
mkdir -p /mydata/elasticsearch/master-${port}/config
mkdir -p /mydata/elasticsearch/master-${port}/data
chmod -R 777 /mydata/elasticsearch/master-${port}
cat << EOF > /mydata/elasticsearch/master-${port}/config/elasticsearch.yml
cluster.name: my-es  #集群的名称，同一个集群该值必须设置成相同的
node.name: es-master-${port}  #该节点的名字
node.master: true  #该节点有机会成为master节点
node.data: false #该节点可以存储数据
network.host: 0.0.0.0
http.host: 0.0.0.0   #所有http均可访问
http.port: 920${port}
transport.tcp.port: 930${port}
discovery.zen.ping_timeout: 10s #设置集群中自动发现其他节点时ping连接的超时时间
discovery.seed_hosts: ["172.18.1.21:9301","172.18.1.22:9302","172.18.1.23:9303"]
cluster.initial_master_nodes: ["172.18.1.21"] #新集群初始时的候选主节点，es7的新增配置
EOF
docker run --name elasticsearch-node-${port} 
-p 920${port}:920${port} -p 930${port}:930${port} 
--network=mynet --ip 172.18.1.2${port} 
-e ES_JAVA_OPTS="-Xms300m -Xmx300m"  
-v /mydata/elasticsearch/master-${port}/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml  
-v /mydata/elasticsearch/master-${port}/data:/usr/share/elasticsearch/data  
-v /mydata/elasticsearch/master-${port}/plugins:/usr/share/elasticsearch/plugins  
-d elasticsearch:7.4.2
done

创建三个从节点

for port in $(seq 4 6); 
do 
mkdir -p /mydata/elasticsearch/master-${port}/config
mkdir -p /mydata/elasticsearch/master-${port}/data
chmod -R 777 /mydata/elasticsearch/master-${port}
cat << EOF > /mydata/elasticsearch/master-${port}/config/elasticsearch.yml
cluster.name: my-es  #集群的名称，同一个集群该值必须设置成相同的
node.name: es-node-${port}  #该节点的名字
node.master: false  #该节点有机会成为master节点
node.data: true #该节点可以存储数据
network.host: 0.0.0.0
http.host: 0.0.0.0   #所有http均可访问
http.port: 920${port}
transport.tcp.port: 930${port}
discovery.zen.ping_timeout: 10s #设置集群中自动发现其他节点时ping连接的超时时间
discovery.seed_hosts: ["172.18.1.21:9301","172.18.1.22:9302","172.18.1.23:9303"]
cluster.initial_master_nodes: ["172.18.1.21"] #新集群初始时的候选主节点，es7的新增配置
EOF
docker run --name elasticsearch-node-${port} 
-p 920${port}:920${port} -p 930${port}:930${port} 
--network=mynet --ip 172.18.1.2${port} 
-e ES_JAVA_OPTS="-Xms300m -Xmx300m"  
-v /mydata/elasticsearch/master-${port}/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml  
-v /mydata/elasticsearch/master-${port}/data:/usr/share/elasticsearch/data  
-v /mydata/elasticsearch/master-${port}/plugins:/usr/share/elasticsearch/plugins  
-d elasticsearch:7.4.2
done

检查集群：

curl http://192.168.1.48:9201/_cat/nodes

curl http://192.168.1.48:9201/_cluster/health?pretty