Elasticsearch 生产环境亿万级规模分布式集群项目规划+实施
-------------------------------------------------------------------------------------------------------
测试环境伪集群建设
192.168.1.1 端口1 主节点1 数据节点1 协调节点1
192.168.1.1 端口2 主节点2 数据节点2 协调节点2
192.168.1.1 端口3 主节点3 数据节点3 协调节点3
-------------------------------------------------------------------------------------------------------
一般规模集群建设
192.168.1.1 主节点1 数据节点1 协调节点1
192.168.1.2 主节点2 数据节点2 协调节点2
192.168.1.3 主节点3 数据节点3 协调节点3
192.168.1.4 数据节点4扩展 (水平扩容)
192.168.1.5 数据节点5扩展 (水平扩容)
-------------------------------------------------------------------------------------------------------
亿万级别规模集群建设
192.168.1.1 主节点1
192.168.1.2 主节点2
192.168.1.3 主节点3
192.168.1.4 协调节点1
192.168.1.5 协调节点2
192.168.1.6 协调节点3
192.168.1.7 数据节点1
192.168.1.8 数据节点2
192.168.1.9 数据节点3
192.168.1.10 数据节点4扩展 (水平扩容)
192.168.1.11 数据节点5扩展 (水平扩容)
生产环境节点建议:
1 使用独立主节点,尽量与data分开
2 数据节点达到3个,主节点至少也要三台
3 建议服务器内存为64G内存,因为jvm最高使用32G内存,数据节点建议高速硬盘
4 单数据节点处理数据量5TB内
5 扩展数据节点2个或者4个的增加
6 大型集群至少3个协调节点
生产环境其他建议:
1 搜索场景下一个分片大小建议不要超过30G索引
2 整个集群分片数量建议不超过10万个
3 副本数replicas最低为1
4 副本越多消耗越大,但也越保险
服务器配置清单:
一般规模集群(通过虚拟化分配机器,IO全部打散)
内存64G、CPU 1C*4核、5台机器支持25T内数据,可扩展11台数据节点到55T,再往上扩展需要使用亿万级集群