1 冷热分离（Hot/Warm/Cold）
Index Lifecircle Management Policy
索引特点
- Hot: 索引被更新，大量被查询
- Warm: 索引不更新，偶尔被查询
- Cold: 索引不更新，很少被查询
- Delete: 索引不更新，不被查询
参考：https://www.elastic.co/guide/en/elasticsearch/reference/7.0/index-lifecycle-management.html
根据索引特点，可以将es集群划分几个小集群：
- Hot集群：存放Hot索引
- Warm集群：存放Warm索引
- Cold集群：存放Cold索引（非必须）
最简单的是划分为Hot和Warm来管理，他们的特点是：
- Hot集群：多CPU，大内存，小硬盘，小Shard，同时应对大量的读写请求
- Warm集群：少CPU，小内存，大硬盘，大Shard，应对少量的读写请求
当一个索引从Hot集群移动到Warm集群时，通常需要将小Shard变为大Shard，这里需要一个shrink操作，即将一个索引的多个shard合并成更少的shard，比如5个10G的shard合并成1个50G的shard，shrink后的索引可以通过alias为原索引被搜索。
https://www.elastic.co/guide/en/elasticsearch/reference/7.0/indices-shrink-index.html
2 内存分配
elasticsearch的节点内存分为2个部分：
- JVM内存
- Lucene索引内存：主要被磁盘大小、shard大小影响
可以通过磁盘大小来预估第二个Lucene索引的最大占用内存，剩下的绝大部分可以分配给JVM，比如当前节点有32G内存，磁盘占用50%，Lucene内存使用1G，可以预估磁盘占满时Lucene最多使用2G内存，那剩下的30G可以分配绝大部分比如28G给JVM来使用，这样可以最优化节点的内存占用。
3 不同节点间磁盘占用不均
ElasticSearch的集群均衡策略是保证不同节点间Shard数量近似相等，如果不同shard大小相差悬殊，就会出现不同节点磁盘占用不均的情况，具体可以分为两种：
Hot节点磁盘占用不均
调整ILM策略，将Hot节点上的索引滚动策略改为使用大小而不是时间，这样可以减少索引热节点上的shard大小不等的情况，进一步减少磁盘分布不均的可能。
Warm节点磁盘占用不均
可以定期删除空索引，合并小索引等操作减少shard数量，进一步减少磁盘分布不均的可能。
4 其他
磁盘使用百分比
热节点和热节点磁盘使用到90%的时候要及时扩容
性能瓶颈
关注集群中的节点有自身的性能瓶颈以及处理能力，比如
-
max_restore_bytes_per_sec：一定要低于磁盘的极限，否则很容易导致节点假死
-
cluster_concurrent_rebalance和node_concurrent_recoveries：如果Warm节点偶尔出现被master踢掉的情况，有可能是因为shrink或迁移的并发太大超过集群承受能力，这时最好降低这两个并发限制。