1、查看集群健康状态
[root@ELK-chaofeng01 ~]#curl -XGET http://172.16.0.51:9200/_cat/health?v epoch timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent 1552784149 00:55:49 ELK-chaofeng green 3 3 44 22 0 0 0 0 - 100.0%
2、查看集群节点
[root@ELK-chaofeng01 ~]#curl -XGET http://172.16.0.51:9200/_cat/nodes?v ip heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name 172.16.0.52 13 22 0 0.00 0.06 0.12 mdi - elk02 172.16.0.51 13 97 0 0.00 0.01 0.05 mdi * elk01 172.16.0.53 12 97 0 0.00 0.01 0.05 mdi - elk03
3、查看master节点状态
[root@ELK-chaofeng01 ~]#curl -XGET http://172.16.0.51:9200/_cat/master?v id host ip node 8Z8Oi4ipRCmaAjKESa2-FA 172.16.0.51 172.16.0.51 elk01
4、查看ES集群安装了什么插件
[root@ELK-chaofeng01 ~]#curl -XGET http://172.16.0.51:9200/_cat/plugins?v name component version
没有任何插件此时
5、查看集群索引
[root@ELK-chaofeng01 ~]#curl -XGET http://172.16.0.51:9200/_cat/indices?v health status index uuid pri rep docs.count docs.deleted store.size pri.store.size green open logstash-apacheerrorlogs kBCaAVGcQfahh730CXsFyw 5 1 111 0 264kb 132kb green open .newkibana_1 aFFVpEqeTbSxQyJ48Djwyw 1 1 9 0 113.8kb 56.9kb green open .kibana_1 nmZWm-d5TGy6ZqMgvslPEQ 1 1 3 0 24kb 12kb green open logstash-apachelogs VIzul30TTpWltpIrgrPwEA 5 1 77 0 765.9kb 382.9kb green open sys 58eN-9CRRqGt8i-B5Ar-qQ 5 1 0 0 2.5kb 1.2kb green open logstash-apachehahalogs uSmB7bPmR5WbqIscyduvIA 5 1 5767 0 9.2mb 4.6mb
6、自定义显示节点状态。
先获取帮助
[root@ELK-chaofeng01 ~]#curl -XGET http://172.16.0.51:9200/_cat/nodes?help id | id,nodeId | unique node id pid | p | process id ip | i | ip address port | po | bound transport port http_address | http | bound http address version | v | es version
有非常多,想获取哪个就可以获取哪个。比如如下所示:
[root@ELK-chaofeng01 ~]#curl -XGET http://172.16.0.51:9200/_cat/nodes?h=name,ip,port,jdk elk02 172.16.0.52 9300 1.8.0_201 elk01 172.16.0.51 9300 1.8.0_201 elk03 172.16.0.53 9300 1.8.0_201
7、显示当前节点的ES信息
[root@ELK-chaofeng01 ~]#curl http://172.16.0.51:9200 { "name" : "elk01", "cluster_name" : "ELK-chaofeng", "cluster_uuid" : "5VIF1_SdQdGbRekuR9q4-A", "version" : { "number" : "6.5.2", "build_flavor" : "default", "build_type" : "tar", "build_hash" : "9434bed", "build_date" : "2018-11-29T23:58:20.891072Z", "build_snapshot" : false, "lucene_version" : "7.5.0", "minimum_wire_compatibility_version" : "5.6.0", "minimum_index_compatibility_version" : "5.0.0" }, "tagline" : "You Know, for Search" }
看到“you knoe , foe search ” 这表示当前ES安装成功。
8、安装插件,最著名的插件是HEAD插件。
查看我之前的博客,有讲如何安装HEAD插件的:https://www.cnblogs.com/FengGeBlog/p/10471710.html
9、添加索引和内容
第一行的“-H Content-Type:application/json” 要带上去,这是6.x与5.x下的区别,否则不能创建索引成功。
10、查找我们刚刚创建的索引
[root@ELK-chaofeng01 ~]#curl -XGET '172.16.0.51:9200/student/_search?pretty' { "took" : 184, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : 1, "max_score" : 1.0, "hits" : [ { "_index" : "student", "_type" : "major", "_id" : "1", "_score" : 1.0, "_source" : { "name" : "Chao feng", "age" : 24, "course" : "English" } } ] } }
在索引的后面添加“_search”来查看指定索引的内容,默认是列出当前所有下的所有内容
11、查找指定索引下的指定内容,比如搜索“English”
[root@ELK-chaofeng01 ~]#curl -XGET '172.16.0.51:9200/student/_search?q="English"&pretty' { "took" : 12, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : 1, "max_score" : 0.2876821, "hits" : [ { "_index" : "student", "_type" : "major", "_id" : "1", "_score" : 0.2876821, "_source" : { "name" : "Chao feng", "age" : 24, "course" : "English" } } ] } }
ES内部会自动进行大小写转换,默认是不区分大小写的。
11.1)HEAD插件上传
12)对某个索引的某个类型做搜索
[root@ELK-chaofeng01 ~]#curl -XGET '172.16.0.51:9200/student/major/_search?q="English"&pretty' { "took" : 19, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : 1, "max_score" : 0.2876821, "hits" : [ { "_index" : "student", "_type" : "major", "_id" : "1", "_score" : 0.2876821, "_source" : { "name" : "Chao feng", "age" : 24, "course" : "English" } } ] } }
13)案例:对某个索引查看统计的个数
我想统计一下es集群中的某个索引中的“notice”有多少个,我之前采集日志向ES集群发送过去了,当时的日志中的“notice”行数是:
此时我在ES集群中使用搜索技术查看
完全正确,搜索的非常好。上面的默认查找方式是“_all”。
你也可以使用这种技术来切割,“loglevel:notice”,在前面加上冒号,表示对特定的类型进行匹配
要学会使用“q=Type:WORD”的方式来查询。
14)做简单查询
15)做复杂处理,注意写的格式;复杂处理的标志就是“query_string”。
注意加引号。
分片定义:
集群(cluster): 由一个或多个节点组成, 并通过集群名称与其他集群进行区分 节点(node): 单个ElasticSearch实例. 通常一个节点运行在一个隔离的容器或虚拟机中 索引(index): 在ES中, 索引是一组文档的集合 分片(shard): 因为ES是个分布式的搜索引擎, 所以索引通常都会分解成不同部分, 而这些分布在不同节点的数据就是分片. ES自动管理和组织分片, 并在必要的时候对分片数据进行再平衡分配, 所以用户基本上不用担心分片的处理细节. 副本(replica): ES默认为一个索引创建5个主分片, 并分别为其创建一个副本分片. 也就是说每个索引都由5个主分片成本, 而每个主分片都相应的有一个copy. 对于分布式搜索引擎来说, 分片及副本的分配将是高可用及快速搜索响应的设计核心.主分片与副本都能处理查询请求, 它们的唯一区别在于只有主分片才能处理索引请求. 在上图示例中, 我们的ElasticSearch集群有两个节点, 并使用了默认的分片配置. ES自动把这5个主分片分配到2个节点上, 而它们分别对应的副本则在完全不同的节点上. 对,就这是分布式的概念. 请记住, 索引的number_of_shards参数只对当前索引有效而不是对整个集群生效.对每个索引来讲, 该参数定义了当前索引的主分片数(而不是集群中所有的主分片数).
关于副本
副本对搜索性能非常重要, 同时用户也可在任何时候添加或删除副本. 正如另篇文章所述, 额外的副本能给你带来更大的容量, 更高的呑吐能力及更强的故障恢复能力. 谨慎分配你的分片 当在ElasticSearch集群中配置好你的索引后, 你要明白在集群运行中你无法调整分片设置. 既便以后你发现需要调整分片数量, 你也只能新建创建并对数据进行重新索引(reindex)(虽然reindex会比较耗时, 但至少能保证你不会停机). 主分片的配置与硬盘分区很类似, 在对一块空的硬盘空间进行分区时, 会要求用户先进行数据备份, 然后配置新的分区, 最后把数据写到新的分区上. 2~3GB的静态数据集 分配分片时主要考虑的你的数据集的增长趋势. 我们也经常会看到一些不必要的过度分片场景. 从ES社区用户对这个热门主题(分片配置)的分享数据来看, 用户可能认为过度分配是个绝对安全的策略(这里讲的过度分配是指对特定数据集, 为每个索引分配了超出当前数据量(文档数)所需要的分片数). Elastic在早期确实鼓吹过这种做法, 然后很多用户做的更为极端--例如分配1000个分片. 事实上, Elastic目前对此持有更谨慎的态度. 稍有富余是好的, 但过度分配分片却是大错特错. 具体定义多少分片很难有定论, 取决于用户的数据量和使用方式. 100个分片, 即便很少使用也可能是好的;而2个分片, 即便使用非常频繁, 也可能是多余的. 要知道, 你分配的每个分片都是有额外的成本的: 每个分片本质上就是一个Lucene索引, 因此会消耗相应的文件句柄, 内存和CPU资源 每个搜索请求会调度到索引的每个分片中. 如果分片分散在不同的节点倒是问题不太. 但当分片开始竞争相同的硬件资源时, 性能便会逐步下降 ES使用词频统计来计算相关性. 当然这些统计也会分配到各个分片上. 如果在大量分片上只维护了很少的数据, 则将导致最终的文档相关性较差