• 18.match_phrase的用法


    主要知识点:

    • match_phrase的使用场景
    • match_phrase的用法
    • match_phrase的原理

       

    一、什么是近似匹配

     match_phrase的使用场景

    现假设有两个句子

       

    1、java is my favourite programming language, and I also think spark is a very good big data system.

    2、java spark are very related, because scala is spark's programming language and scala is also based on jvm like java.

       

    进行match query,query语法如下:

    {

    "query":{

    "match": {

    "content": "java spark"

    }

    }

    match query进行搜索,只能搜索到包含javasparkdocument,包含javasparkdoc都会被返回回来。现在假如说我们要实现以下三个需求:

    1java spark,就靠在一起,中间不能插入任何其他字符,就要搜索出来这种doc

    2java spark,但是要求,javaspark两个单词靠的越近,doc的分数越高,排名越靠前

    3、我们搜索时,文档中必须包含java spark这两个文档,且他们之间的距离不能超过5,

    要实现上述三个需求,用match做全文检索,是搞不定的,必须得用proximity match(近似匹配),proximity match分两种,短语匹配(phrase match)和近似匹配(proximity match)。这一讲,要学习的是phrase match,就是仅仅搜索出javaspark靠在一起的那些doc,比如有个doc,是java use'd spark,这就不是结果。

       

       

    二、match_phrase的用法

      phrase match,就是要去将多个term作为一个短语,一起去搜索,只有包含这个短语的doc才会作为结果返回。match是只在包含其中任何一个分词就返回。

    1、match语法:

       

    GET /forum/article/_search

    {

    "query": {

    "match": {

    "content": "java spark"

    }

    }

    }

       

    单单包含javadoc也返回了,不是我们想要的结果

       

    2、改一个数据,将一个doccontent设置为恰巧包含java spark这个短语,以方便搜索

    POST /forum/article/5/_update

    {

    "doc": {

    "content": "spark is best big data solution based on scala ,an programming language similar to java spark"

    }

    }

       

    3、match_phrase语法

       

    GET /forum/article/_search

    {

    "query": {

    "match_phrase": {

    "content": "java spark"

    }

    }

    }

       

    结果只返回了最后我们修改的那个doc,只包含java或spark的doc不会返回

       

    三、match_phrase的原理

       

    1、理解term position

    es分词器在分词做倒排索引时,会记录下每个分词在对应的doc中的位置(position

    比如有下面两个doc>

    doc1hello world, java spark                

    doc2hi, spark java                                

    做倒排索引时:

    hello                 doc1(0)                

    wolrd                doc1(1)

    java                   doc1(2)  doc2(2)

    spark                doc1(3)  doc2(1)

    ()中表示位置。可以通过以下语句进行查看。

       

    GET _analyze

    {

    "text": "hello world, java spark",

    "analyzer": "standard"

    }

    2、match_phrase的基本原理

       

    match_phrase执行过程:

    .如match搜索一样进行分词,

    .对分词后的单词到field中去进行搜索。这一步返回每个单词对应的doc,并返回这些单词在对应的doc中的位置,

    .对返回的doc进行第一步的筛选,找到每个单词都在同一个field的doc。

    .对第3步进行筛选后的doc进行再一次的筛选,选回位置符合要求的doc。比如,对于match_phrase,就是找到后一个单词的位置比前一个单词的位置大1。

    5.proximity match原理一样,只是第四位对位置进行筛选时的方法不同。

       

  • 相关阅读:
    Microsoft 机器学习产品体系对比和介绍
    使用ANNdotNET进行情感分析
    使用.NET Hardware Intrinsics API加速机器学习场景
    关于ML.NET v0.6的发布说明
    强化学习的十大原则
    关于ML.NET v0.5的发布说明
    使用ML.NET实现基于RFM模型的客户价值分析
    使用ML.NET实现NBA得分预测
    Azure认知服务之Face API上手体验
    Orange——开源机器学习交互式数据分析工具
  • 原文地址:https://www.cnblogs.com/liuqianli/p/8526456.html
Copyright © 2020-2023  润新知