ElasticSerach（二）

1、ElasticSearch 基础概念

1.1、近实时（Near Realtime/NRT）

ElasticSearch 是一个近实时的搜索平台。从生成文档索引到文档可搜索，有一个轻微的延迟（通常1s）

1.2、集群（Cluster）.

ES 默认就是集群状态，整个集群是一份完整、互备的数据。集群是一个多节点（服务器） 的集合。集群中的节点一起存储数据，对外提供搜索功能。集群有一个唯一的名称标识，即有一个集群名称，可以通过 elasticsearch/config/elasticsearch.yml  里的cluster.name字段进行配置。集群名称很重要，节点都是通过集群名称加入集群的。奇骏名称不能其他ES集群名称重名，取名一般要有明确含义，以免引起混乱。另外集群节点数不受限制，一个节点也可以是一个集群。

1.3、节点（Node）

节点是一个服务器，，属于某个集群。节点用于存储数据，参与集群的索引和搜索功能。与集群一样，节点也是通过名称来标识的。默认情况下，启东集群时会分配给节点一个UUID作为名称。如果需要，可以给节点取名，

1.4、索引（Index）

索引是具有某种意义的文档集合，相当于一本书的目录。例如，可以为客户数据简历索引，为订单数据建议另一个索引。索引由名称标识（小写），可以使用该名称，对索引中的文档进行简历索引、搜索、更新和删除操作。一个集群内，索引数量不受限制。

1.5、类型（Type）

类似于rdbms 的 table，但是与其说是table，其实更像面向对象的class,同一个JSON的格式的数据集合。（6.x 版本只许建一个，7.0废弃，index 其实相当于table级别的感念）

1.6、文档（Document）

文档是可以通过索引的基本信息单元，相当于书的章节。例如；可以为单个客户创建一个文档，为单个订单创建另一个文档，文档用JSON表示。在索引中，理论上可以存储任意数量的文档。类似于rdbms 的row，面向对象的object。

1.7、分片和副本（Shards & Replicas）

索引可能存储大量数据，数据量可能超过单个节点的硬件限制。例如，一个索引包含10亿个文档，将占用1TB的磁盘空间，单个节点的磁盘放不下，ES 提供了索引分片的功能，创建索引时，可以定义所需的分片数量。每个分片本身就是一个功能齐全，独立的索引，可以托管在集群中任一节点上。分片之所以重要有两点：

• 允许水平切分内容，以便内容可以存储到put服务器上
• 允许跨分片操作，提高性能/吞吐量

分片如何部署，如何跨片搜索完全由ES管理，对外透明。网络环境随时可能出现故障，如果某个分片由于某种原因消失，那么使用故障转移机制是非常有用的，ES 允许分片创建副本副本之所以重要，主要有2个原因:

• 在分片/节点失败时提供高可用性。因此，原分片与副本不应放在同一个节点上。
• 扩展吞吐量，因为可以在所有副本上并行执行搜索。

总而言之，索引可以分片，索引分片可以创建副本。复制后，每个索引将具有主分片与副本分片。创建索引时，可以为每个索引定义分片和副本的数量。之后，还可以随时动态更改副本数量。您可以使用_shrink和_split api更改现有索引的分片数量，但动态修改副本数量相当麻烦，最好还是预先计划好分片数量。默认情况下，Elasticsearch中的每个索引分配一个主分片和一个副本（7.X之前，默认是5片，副本是0。7.X默认改为1片，副本为1）。如果集群中有两个节点，就可以将索引主分片部署在一个节点，副本分片放在另一个节点，提高可用性。

1.8、ES 概念和 Mysql 对比

MySQL	ES5.X	ES6.X	ES7.X
Database	Index
Table	Type	Index（Type成了摆设）	Index（Type被移除掉）
Row	Document	Document
Column	Field	Field

例如有一下实体

public class  Movie {
       String id;
     String name;
     Double doubanScore;
     List<Actor> actorList;
}

public class Actor{
String id;
String name;
}

这两个对象如果放在关系型数据库保存，会被拆成2张表，但是ElasticSearch是用一个json来表示一个document。类似豆瓣某个电影详情页 https://movie.douban.com/ 保存到ES中应该是

{
  "id":"1",
  "name":"operation red sea",
  "doubanScore":"8.5",
  "actorList":[  
{"id":"1","name":"zhangyi"},
{"id":"2","name":"haiqing"},
{"id":"3","name":"zhanghanyu"}
] 
}

2、ElasticSearch RestFulAPI(DSL)

DSL全称 Domain Specific language，即特定领域专用语言

2.1、全局操作

2.1.1、查询集群健康状态

#全局展示
GET /_cat/health
#全局展示带表头
GET /_cat/health?v

结果

集群的健康状态有红、黄、绿三个状态：

• 绿–一切正常(集群功能齐全)
• 黄–所有数据可用，但有些副本尚未分配(集群功能完全)
• 红–有些数据不可用(集群部分功能)

 2.1.2、查询集群节点状态

#查看节点情况
GET /_cat/nodes?v

结果

 

2.2、索引操作

2.2.1、查询索引状态

#查看索引状态
GET /_cat/indices?v

字段解释 

ES默认存在的一些索引
health	green:集群完整，yellow:单点正常，集群不完整，red:集群并与正常
status	是否能使用
index	索引名称
uuid	索引ID
pri	主节点分片
rep	副本数
docs.deleted	文档被删了多少
docs.count	文档数
docs.size	整体空间大小
pri.store.size	主节点站空间大小

2.2.2、创建索引

#创建索引
PUT /movie_index

结果

{
  "acknowledged" : true,
  "shards_acknowledged" : true,
  "index" : "movie_index"
}

使用PUT创建名为“movie_index”的索引。末尾追加pretty，可以漂亮地打印JSON响应(如果有的话)。红色警告说在7.x分片数会由默认的5改为1，我们忽略即可索引名命名要求：

2.2.3、查询索引分片情况

#查看分片情况
GET /_cat/shards/movie_index?v

结果

ndex       shard prirep state   docs store ip              node
movie_index 3     p      STARTED    0  230b 192.168.124.141 node-1
movie_index 3     r      STARTED    0  230b 192.168.124.143 node-3
movie_index 1     p      STARTED    0  230b 192.168.124.142 node-2
movie_index 1     r      STARTED    0  230b 192.168.124.141 node-1
movie_index 4     p      STARTED    0  230b 192.168.124.142 node-2
movie_index 4     r      STARTED    0  230b 192.168.124.141 node-1
movie_index 2     r      STARTED    0  230b 192.168.124.142 node-2
movie_index 2     p      STARTED    0  230b 192.168.124.143 node-3
movie_index 0     p      STARTED    0  230b 192.168.124.141 node-1
movie_index 0     r      STARTED    0  230b 192.168.124.143 node-3

默认5个分片，1个副本。所以看到一共有10个分片，5个主，每一个主分片对应一个副本，注意：同一个分片的主和副本肯定不在同一个节点上 

3.2.4、删除索引

#删除
DELETE movie_index

响应

{
  "acknowledged" : true
}

2.3、文档操作

2.3.1、创建文档

#创建文档
PUT /movie_index/movie/1
{
   "id":100,
   "name":"operation red sea",
   "doubanScore":8.5,
   "actorlist":
   [
     {"id":1,"name":"zhang yi"},
      {"id":2,"name":"hai qing"},
       {"id":3,"name":"zhang han yu"}
     ]
}

PUT /movie_index/movie/2
{
  "id":101,
  "name":"peration meigong river",
     "doubanScore": 8.1,
   "actorList":
   [
     {"id":1,
       "name":"zhang han yu"
     }]
}


PUT /movie_index/movie/3
{
    "id": 300,
    "name": "incident red sea",
    "doubanScore": 5.0,
    "actorList": [{
        "id": 4,
        "name": "zhang san feng"
    }]
}

注意，Elasticsearch并不要求，先要有索引，才能将文档编入索引。创建文档时，如果指定索引不存在，将自动创建。默认创建的索引分片是5，副本是1，我们创建的文档会在其中的某一个分片上存一份，副本上存一份，所以看到的响应_shards-total:2

2.3.2、查询文档

查看全部文档

GET /movie_index/_search

结果

{
  "took" : 93,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "movie_index",
        "_type" : "movie",
        "_id" : "2",
        "_score" : 1.0,
        "_source" : {
          "id" : 101,
          "name" : "peration meigong river",
          "doubanScore" : 8.1,
          "actorList" : [
            {
              "id" : 1,
              "name" : "zhang han yu"
            }
          ]
        }
      },
      {
        "_index" : "movie_index",
        "_type" : "movie",
        "_id" : "1",
        "_score" : 1.0,
        "_source" : {
          "id" : 100,
          "name" : "operation red sea",
          "doubanScore" : 8.5,
          "actorlist" : [
            {
              "id" : 1,
              "name" : "zhang yi"
            },
            {
              "id" : 2,
              "name" : "hai qing"
            },
            {
              "id" : 3,
              "name" : "zhang han yu"
            }
          ]
        }
      },
      {
        "_index" : "movie_index",
        "_type" : "movie",
        "_id" : "3",
        "_score" : 1.0,
        "_source" : {
          "id" : 300,
          "name" : "incident red sea",
          "doubanScore" : 5.0,
          "actorList" : [
            {
              "id" : 4,
              "name" : "zhang san feng"
            }
          ]
        }
      }
    ]
  }
}

查询某个索引指定文档

GET /movie_index/movie/2

结果

#结果
{
  "_index" : "movie_index",
  "_type" : "movie",
  "_id" : "2",
  "_version" : 1,
  "_seq_no" : 0,
  "_primary_term" : 1,
  "found" : true,#查询到了数据
  "_source" : {
    "id" : 101,
    "name" : "peration meigong river",
    "doubanScore" : 8.1,
    "actorList" : [
      {
        "id" : 1,
        "name" : "zhang han yu"
      }
    ]
  }
}
#查询一个不存咋的文档
GET /movie_index/movie/21
#结果
{
  "_index" : "movie_index",
  "_type" : "movie",
  "_id" : "21",
  "found" : false #表示未查询到结果
}

这里有一个字段found为真，表示找到了一个ID为1的文档，另一个字段_source，该字段返回完整JSON文档

2.3.3、根据ID删除文档

##删除整个文档G 
DELETE /movie_index
#删除指定ID文档
DELETE /movie_index/movie/3

2.3.4、更新文档

PUT /movie_index/movie/3
{
    "id": 300,
    "name": "incident red sea",
    "doubanScore": 5.0,
    "actorList": [{
        "id": 4,
        "name": "风清扬"
    }]
}

结果

#返回结果
{
  "_index" : "movie_index",
  "_type" : "movie",
  "_id" : "3",
  "_version" : 3,
  "result" : "updated",#更新操作
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "_seq_no" : 2,
  "_primary_term" : 1
}
查看更新后的内容
GET /movie_index/movie/3
{
  "_index" : "movie_index",
  "_type" : "movie",
  "_id" : "3",
  "_version" : 3,
  "_seq_no" : 2,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "id" : 300,
    "name" : "incident red sea",
    "doubanScore" : 5.0,
    "actorList" : [
      {
        "id" : 4,
        "name" : "风清扬"
      }
    ]
  }
}

#POST 不指定ID 会插入数据，ID随机生成，新增操作 不保证幂等性，指定ID可以
POST /movie_index/movie/
{"id":300,
"name":"incident red sea",
"doubanScore":5.0,
"actorList":[ 
  {"id":4,"name":"zhang cuishan"
  }
  ]
}

#更新某个文档的部分数据
POST /movie_index/movie/1/_update
{
  "doc":{"name":"红海行动"}
}
#根据ID更新文档
POST /movie_index/movie/2/_update
{
  "doc":{"name":"湄公河行动"}
}
#删除文档属性
POST /movie_index/movie/1/_update
{
"script" : "ctx._source.remove('name')"
}
#删除文档
POST/movie_index /_delete_by_query
{
"query": {"match_all": {}}
}
#批处理:新增两条记录
POST /movie_index/movie/_bulk
{"index":{"_id":66}}
{"id":300,"name":"incident red sea","doubanScore":5.0,"actorList":[{"id":4,"name":"zhang cuishan"}]}
{"index":{"_id":88}}
{"id":300,"name":"incident red sea","doubanScore":5.0,"actorList":[{"id":4,"name":"zhang cuishan"}]}   
#批处理:更新一条记录 删除一条记录
POST /movie_index/movie/_bulk
{"update":{"_id":"66"}}
{"doc": { "name": "wudangshanshang" } }
{"delete":{"_id":"88"}}

2.4、查询操作

2.4.1、查询全部数据

#查询文档结构
GET /movie_index
#查询全部数据
GET /movie_index/_search

2.4.2、按条件查询（全部数据）

#JSON 形式查询全部
GET /movie_index/_search
{
  "query":{
    "match_all":{}
  }
}
查询效果等价于 GET /movie_index/_search

2.4.3、按分词查询（必须使用分词 text 类型）

GET /movie_index/_search
{
  "query": {
    "match": {
      "name": "operation red sea"
    }
  }
}

结果

{
  "took" : 43,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 0.8630463,
    "hits" : [
      {
        "_index" : "movie_index",
        "_type" : "movie",
        "_id" : "1",
        "_score" : 0.8630463,
        "_source" : {
          "id" : 100,
          "name" : "operation red sea",
          "doubanScore" : 8.5,
          "actorlist" : [
            {
              "id" : 1,
              "name" : "zhang yi"
            },
            {
              "id" : 2,
              "name" : "hai qing"
            },
            {
              "id" : 3,
              "name" : "zhang han yu"
            }
          ]
        }
      },
      {
        "_index" : "movie_index",
        "_type" : "movie",
        "_id" : "3",
        "_score" : 0.5753642,
        "_source" : {
          "id" : 300,
          "name" : "incident red sea",
          "doubanScore" : 5.0,
          "actorList" : [
            {
              "id" : 4,
              "name" : "风清扬"
            }
          ]
        }
      }
    ]
  }
}

2.4.4、按分词子属性查询

GET /movie_index/_search
{
  "query": {
    "match": {
      "actorList.name": "zhang han yu"
    }
  }
}
GET movie_index/movie/_search
{
  "query":{
    "match": {"actorList.name":"zhang han yu"}
  }
}

结果

{
  "took" : 12,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 1,
    "max_score" : 0.8630463,
    "hits" : [
      {
        "_index" : "movie_index",
        "_type" : "movie",
        "_id" : "2",
        "_score" : 0.8630463,
        "_source" : {
          "id" : 101,
          "name" : "peration meigong river",
          "doubanScore" : 8.1,
          "actorList" : [
            {
              "id" : 1,
              "name" : "zhang han yu"
            }
          ]
        }
      }
    ]
  }
}

2.4.5、按短语查询 类似于 like

GET /movie_index/movie/_search
 {
   "query": {
     "match_phrase": {
       "actorList.name": "zhang han yu"
     }
   }

结果

{
  "took" : 22,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 1,
    "max_score" : 0.8630463,
    "hits" : [
      {
        "_index" : "movie_index",
        "_type" : "movie",
        "_id" : "2",
        "_score" : 0.8630463,
        "_source" : {
          "id" : 101,
          "name" : "peration meigong river",
          "doubanScore" : 8.1,
          "actorList" : [
            {
              "id" : 1,
              "name" : "zhang han yu"
            }
          ]
        }
      }
    ]
  }
}

模糊匹配

 GET /movie_index/_search
{
  "query": {
    "match": {
      "actorList.name": "zhang han"
    }
  }
}

结果

{
  "took" : 9,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 0.5753642,
    "hits" : [
      {
        "_index" : "movie_index",
        "_type" : "movie",
        "_id" : "2",
        "_score" : 0.5753642,
        "_source" : {
          "id" : 101,
          "name" : "peration meigong river",
          "doubanScore" : 8.1,
          "actorList" : [
            {
              "id" : 1,
              "name" : "zhang han yu"
            }
          ]
        }
      },
      {
        "_index" : "movie_index",
        "_type" : "movie",
        "_id" : "3",
        "_score" : 0.2876821,
        "_source" : {
          "id" : 300,
          "name" : "incident red sea",
          "doubanScore" : 5.0,
          "actorList" : [
            {
              "id" : 4,
              "name" : "zhang san feng"
            }
          ]
        }
      }
    ]
  }
}

2.4.6、精准搜索匹配

GET /movie_index/movie/_search
{
  "query": {
    "term": {
      "actorList.name.keyword": "zhang han yu"
   }
  }
}

actorList.name.keyword 表示不使用分词字符串进行精准匹配

结果

{
  "took" : 7,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 1,
    "max_score" : 0.2876821,
    "hits" : [
      {
        "_index" : "movie_index",
        "_type" : "movie",
        "_id" : "2",
        "_score" : 0.2876821,
        "_source" : {
          "id" : 101,
          "name" : "peration meigong river",
          "doubanScore" : 8.1,
          "actorList" : [
            {
              "id" : 1,
              "name" : "zhang han yu"
            }
          ]
        }
      }
    ]
  }
}

精准匹配

GET /movie_index/_search
{
  "query": {
    "term": {
      "actorList.name.keyword": "zhang han"
      
    }
  }

2.4.7、容错匹配 fuzzy

#容错普i配
GET /movie_index/_search
{
  "query": {
    "fuzzy": {
      "name":  "ref" 
    }
  }
}

结果

结果 容错：及时匹配项有一点出入，也会匹配出结果
{
  "took" : 33,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 0.19178805,
    "hits" : [
      {
        "_index" : "movie_index",
        "_type" : "movie",
        "_id" : "1",
        "_score" : 0.19178805,
        "_source" : {
          "id" : 100,
          "name" : "operation red sea",
          "doubanScore" : 8.5,
          "actorlist" : [
            {
              "id" : 1,
              "name" : "zhang yi"
            },
            {
              "id" : 2,
              "name" : "hai qing"
            },
            {
              "id" : 3,
              "name" : "zhang han yu"
            }
          ]
        }
      },
      {
        "_index" : "movie_index",
        "_type" : "movie",
        "_id" : "3",
        "_score" : 0.19178805,
        "_source" : {
          "id" : 300,
          "name" : "incident red sea",
          "doubanScore" : 5.0,
          "actorList" : [
            {
              "id" : 4,
              "name" : "zhang san feng"
            }
          ]
        }
      }
    ]
  }
}