什么是倒排索引？
1.倒排索引源于实际应用中需要根据属性的值来查找记录。
2.这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。
3.由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引
（简单来说，就是给你的每一句话都根据关键字建立一个索引。你通过索引找到这句话）
倒排索引中的索引爆炸
注：解决索引爆炸问题就是使用搜索引擎建立合适的倒排索引。（分词，以文件名作为索引value）
什么是 Elasticsearch？
1. 使用 java 语言开发的一套开源的全文搜索引擎，建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎
2. 用于搜索、日志管理、安全分析、指标分析、业务分析、应用性能监控等多个领域
3. 底层基于 Lucene 开源库开发，提供 restAPI，可以被任何语言调用
4. 支持分布式部署，可水平扩展
5. 更新迭代快、社区活跃、文档丰富
elasticsearch功能
1. 分布式的搜索引擎和数据分析引擎
2. 数据分析：电商网站，最近7天牙膏销量排行前十商家（举例）
3. 全文检索，结构化检索，数据分析
4. 全文检索：我想搜索商品名称包含牙膏的商品，select * from products where product_name like “%牙膏%”
5. 结构化检索：我想搜索商品分类为日化用品的商品都有哪些，select * from products where category_id=’日化用品’
6. 部分匹配、自动完成、搜索纠错、搜索推荐
7. 数据分析：我们分析每一个商品分类下有多少个商品，select category_id,count(*) from products group by category_id
8. 对海量数据进行实时的处理
elasticsearch特点
1. 可以作为一个大型分布式集群（数百台服务器）技术，处理PB级数据，服务大公司；也可以运行在单机上，服务小公司
2. Elasticsearch不是什么新技术，主要是将全文检索、数据分析以及分布式技术，合并在了一起，才形成了独一无二的ES；
3. lucene（全文检索），商用的数据分析软件（也是有的），分布式数据库（mycat）
4. 对用户而言，是开箱即用的，非常简单，作为中小型的应用，直接3分钟部署一下ES，就可以作为生产环境的系统来使用了，数据量不大，操作不是太复杂
5. 数据库的功能面对很多领域是不够用的（事务，还有各种联机事务型的操作）；
6. 特殊的功能，比如全文检索，同义词处理，相关度排名，复杂数据分析，海量数据的近实时处理；
7. Elasticsearch作为传统数据库的一个补充，提供了数据库所不不能提供的很多功能
elasticsearch基本概念
1、概念说明
1. ElasticSearch 是分布式数据库，允许多台服务器协同工作，每台服务器可以运行多个实例。
2. 单个实例称为一个节点（node）
3. 一组节点构成一个集群（cluster）。
4. 分片是底层的工作单元，文档保存在分片内，分片又被分配到集群内的各个节点里，每个分片仅保存全部数据的一部分。
2、索引（Index）[数据库]
1. ES将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合。
2. 类比传统的关系型数据库领域来说，索引相当于SQL中的一个数据库，或者一个数据存储方案(schema)。
3. 索引由其名称(必须为全小写字符)进行标识，并通过引用此名称完成文档的创建、搜索、更新及删除操作。
4. 一个ES集群中可以按需创建任意数目的索引。
3、类型（Type）[表]
1. 类型是索引内部的逻辑分区(category/partition)，然而其意义完全取决于用户需求。
2. 因此，一个索引内部可定义一个或多个类型(type)。
3. 一般来说，类型就是为那些拥有相同的域的文档做的预定义。
4. 例如，在索引中，可以定义一个用于存储用户数据的类型，一个存储日志数据的类型，以及一个存储评论数据的类型。
5. 类比传统的关系型数据库领域来说，类型相当于“表”。
4、文档（Document）[行]
1. 文档是索引和搜索的原子单位，它是包含了一个或多个域（Field）的容器，基于JSON格式进行表示。
2. 文档由一个或多个域组成，每个域拥有一个名字及一个或多个值，有多个值的域通常称为“多值域”。
3. 每个文档可以存储不同的域集，但同一类型下的文档至应该有某种程度上的相似之处。
5、节点（Node）
1. 一个运行中的 Elasticsearch 实例称为一个节点
2. 而集群是由一个或者多个拥有相同cluster.name配置的节点组成， 它们共同承担数据和负载的压力。
3. ES集群中的节点有三种不同的类型：
1）主节点：负责管理集群范围内的所有变更，例如增加、删除索引，或者增加、删除节点等。 主节点并不需要涉及到文档级别的变更和搜索等操作。可以通过属性node.master进行设置。
2）数据节点：存储数据和其对应的倒排索引，默认每一个节点都是数据节点（包括主节点），可以通过node.data属性进行设置。
3）协调节点：如果node.master和node.data属性均为false，则此节点称为协调节点，用来响应客户请求，均衡每个节点的负载。
6、分片（Shard）
1. 一个索引中的数据保存在多个分片中，相当于水平分表。
2. 一个分片便是一个Lucene 的实例，它本身就是一个完整的搜索引擎。
3. 我们的文档被存储和索引到分片内，但是应用程序是直接与索引而不是与分片进行交互。
4. ES实际上就是利用分片来实现分布式。
5. 分片是数据的容器，文档保存在分片内，分片又被分配到集群内的各个节点里。
6. 当你的集群规模扩大或者缩小时， ES会自动的在各节点中迁移分片，使得数据仍然均匀分布在集群里。
7.主分片 与 副分片
1）索引内任意一个文档都归属于一个主分片，所以主分片的数目决定着索引能够保存的最大数据量。
2）一个副本分片只是一个主分片的拷贝。
3）副本分片作为硬件故障时保护数据不丢失的冗余备份，并为搜索和返回文档等读操作提供服务。
elasticsearch增删改查原理
1、增加原理
1. 当用户向一个节点提交了一个索引新文档的请求，节点会计算新文档应该加入到哪个分片（shard）中。
2. 每个节点都存储有每个分片存储在哪个节点的信息，因此协调节点会将请求发送给对应的节点。
3. 注意这个请求会发送给主分片，等主分片完成索引，会并行将请求发送到其所有副本分片，保证每个分片都持有最新数据。
4. 每次写入新文档时，都会先写入内存中，并将这一操作写入一个translog文件（transaction log）中，此时如果执行搜索操作，这个新文档还不能被索引到。
5. ES会每隔1秒时间（这个时间可以修改）进行一次刷新操作（refresh）
6. 此时在这1秒时间内写入内存的新文档都会被写入一个文件系统缓存（filesystem cache）中，并构成一个分段（segment）。
7. 此时这个segment里的文档可以被搜索到，但是尚未写入硬盘，即如果此时发生断电，则这些文档可能会丢失。
8.不断有新的文档写入，则这一过程将不断重复执行。每隔一秒将生成一个新的segment，而translog文件将越来越大。
9.不断有新的文档写入，则这一过程将不断重复执行。每隔一秒将生成一个新的segment，而translog文件将越来越大。
说明：
1）由上面的流程可以看出，在两次fsync操作之间，存储在内存和文件系统缓存中的文档是不安全的，一旦出现断电这些文档就会丢失。
2）所以ES引入了translog来记录两次fsync之间所有的操作，这样机器从故障中恢复或者重新启动，ES便可以根据translog进行还原。
2、删除（Delete）文档
1. ES的索引是不能修改的，因此更新和删除操作并不是直接在原索引上直接执行。
2. 每一个磁盘上的segment都会维护一个del文件，用来记录被删除的文件。
3. 每当用户提出一个删除请求，文档并没有被真正删除，索引也没有发生改变，而是在del文件中标记该文档已被删除。
4. 因此，被删除的文档依然可以被检索到，只是在返回检索结果时被过滤掉了。
5. 每次在启动segment合并工作时，那些被标记为删除的文档才会被真正删除。
3、更新（Update）
1. 更新文档会首先查找原文档，得到该文档的版本号。
2. 然后将修改后的文档写入内存，此过程与写入一个新文档相同。
3. 同时，旧版本文档被标记为删除，同理，该文档可以被搜索到，只是最终被过滤掉。
4、读操作（Read）：查询过程
1. 查询的过程大体上分为查询（query）和取回（fetch）两个阶段。
2. 这个节点的任务是广播查询请求到所有相关分片，并将它们的响应整合成全局排序后的结果集合，这个结果集合会返回给客户端。
3. 查询阶段
1）当一个节点接收到一个搜索请求，则这个节点就变成了协调节点。
2）第一步是广播请求到索引中每一个节点的分片拷贝。
3）协调节点会将所有分片的结果汇总，并进行全局排序，得到最终的查询排序结果。
4. 取回阶段
1）查询过程得到的是一个排序结果，标记出哪些文档是符合搜索要求的，此时仍然需要获取这些文档返回客户端。
2）协调节点会确定实际需要返回的文档，并向含有该文档的分片发送get请求；
3）分片获取文档返回给协调节点；协调节点将结果返回给客户端。