1 高亮
solr的高亮允许匹配用户查询的文档的片段包含在查询响应中返回,高亮包含在返回结果的单独部分(highlighting部分).
solr提供了一个高亮工具的集合,这个工具允许控制大量字段的片段,片段的大小和片段的格式.高亮工具还可以被多种请求处理程序(Request Handler)调用,如DisMax,Extend DisMax,和标准查询解析器.
这里有三种可以使用的高亮实现:
Standard Highlighter:这个standard highlighter是高亮的一个典型.它拥有三个高亮的最复杂的和最细粒度的查询表示法.比如,高亮能够提供精确的匹配,甚至用于如surround这样的查询解析器.它不要求任何的特殊的数据结果如termVectors.对于一个宽泛种类的搜索情况,这是一个很好的选择.
FastVector Highlighter: FastVector Highlighter要求字段的term vector选项(termVectors,termPositions,termOffsets).并考虑到是最优化的,对于多语言环境它往往比standard highlighter会更好的工作.因为它支持Unicode breakiterators(分解迭代).另一方面,它的查询表示没有standard highlighter那么高级.例如,它将不会很好的工作于surround解析器.它经常使用于大文档和多种类语言的高亮文本.
Postings Highlighter:Postings Highlighter要求存储storeOffsetsWithPositions(位置偏移量),需要在字段中配置.这是一个比vectors更简单有效的结果,但是不适合于大数量的查询terms.像FastVector Highlighter,它支持Unicode算法来分割文档.另一方面,它有很粗略的查询表示:它注重于摘要的质量,完全忽略查询的结构,仅仅基于查询term和统计排序.
1.1 高亮配置
高亮配置,无论选择哪个实现,首先需要在配置一个搜索组件,然后关联这个组件.
用于搜索组件的确切参数主要取决于所依赖的实现,在默认的solrconfig.xml中有一个稳健的例子,这个例子包含了如何配置Standard Highlighte和FastVector Highlighter.(参考Postings Highlighter部分了解更多关于配置的细节).
1.2 Standard Highlighter
标准高亮不要求任何特别的参数加载字段之上.尽管如此,你可以选择的对每个高亮字段打开termVectors,termPositions和termOffsets.这可以避免在查询时通过分析链(analysis chain)运行文档,可以使更快高亮.
标准高亮参数,这些参数可以定义在高亮搜索组件中,在request handler中指定默认参数.或者通过query传递给request handler.
1.2.1 hl :默认为空白(不高亮).为true时,开启高亮功能,为false或者空白或者缺少时,关闭高亮功能.
1.2.2 hl.q:默认空白. 为高亮指定一个覆盖的查询term.如果指定hl.q,高亮将使用这个查询term,而不是主查询term.
1.2.3 hl.fl:默认空白.
指定高亮字段列表.多个字段之间以逗号或空格分开.如果为空白,对于StandardRequestHandler,高亮默认搜索字段(或者指定的df参数).对于
DisMaxRequestHandler,qf作为默认的."*"可以用于匹配全局,如"text_*"或者"*",当使用"*"时,hl.requireFieldMatch=true必填.
1.2.4 hl.snippets : 默认为1.指定每个字段生成的高亮字段的最大数量.
1.2.5 hl.fragsize : 每个snippet返回的最大字符数。默认是100.如果为0，那么该字段不会被fragmented且整个字段的值会被返回。大字段时不会这么做。
1.2.6 hl.mergeContiguous : 默认为false. 知识solr将邻近相连的片段合并为一个单独的片段.true表示合并.默认值为false,为向后兼容设置.
1.2.7 hl.requireFieldMatch: 默认为fasle. 如果置为true，除非该字段的查询结果不为空才会被高亮。它的默认值是false，意味 着它可能匹配某个字段却高亮一个不同
的字段。如果hl.fl使用了通配符，那么就要启用该参数。尽管如此，如果你的查询是all字段（可能是使用 copy-field 指令），那么还是把它设为false，这样搜索结果
能表明哪个字段的查询文本未被找到
1.2.8 hl.maxAnalyzedChars: 默认51200. 会搜索高亮的最大字符，默认值为51200，如果你想禁用，设为-1
1.2.9 hl.maxMultiValuedToExamine: 默认integer.MAX_VALUE.在停止之前,指定检查的多值字段的最大条木数.在任何匹配没有找到之前,如果达到限制,可能会返回
0个结果.
1.2.10 hl.maxMultiValuedToMatch: 默认integer.MAX_VALUE.在停止之前,指定在多值字段中找到的最大匹配数.如果hl.maxMultiValuedToExamine也已经定义
了,whichever limit is reached first will determine when to stop looking.
1.2.11 hl.alternateField: 默认blank.如果没有生成snippet（没有terms 匹配），那么使用另一个字段值作为返回。
1.2.12 hl.maxAlternateFieldLength :默认 unlimited.如果hl.alternateField启用，则有时需要制定alternateField的最大字符长度，默认0是即没有限制。所以合理的
值是应该为hl.snippets * hl.fragsize这样返回结果的大小就能保持一致。
1.2.13 hl.formatter :默认 simple.一个提供可替换的formatting算法的扩展点。默认值是simple，这是目前仅有的选项。显然这不够用，你可 以看看
org.apache.solr.highlight.HtmlFormatter.java 和 solrconfig.xml中highlighting元素是如何配置的。 注意在不论原文中被高亮了什么值的情况下，如预先已存在
的em tags，也不会被转义，所以在有时会导致假的高亮。
1.2.14 hl.simple.pre hl.simple.post : 默认<em> and </em> ．
1.2.15 hl.fragmenter : 默认gap．这个是solr制定fragment算法的扩展点。gap是默认值。regex是另一种选项，这种选项指明 highlight的边界由一个正则表达式确
定。这是一种非典型 的高级选项。为了知道默认设置和fragmenters (and formatters)是如何配置的，可以看看solrconfig.xml中的highlight段。
1.2.16 hl.usePhraseHighlighter :默认true．如果一个查询中含有短语（引号框起来的）那么会保证一定要完全匹配短语的才会被高亮
1.2.17 hl.highlightMultiTerm : 默认true.如果设置为true,solr将会高亮出现在多terms查询中的短语.
1.2.18 hl.regex.slop:默认0.6.在使用hl.fragmenter=regex时,意思是如果hl.fragsize=100那么fragment的大小会从40-160.
1.2.19 hl.regex.pattern: 默认空白.为fragmenting指定正则表达式.这个可以用作提取句子.
1.2.20 hl.regex.maxAnalyzedChars:默认10000. 搜索高亮的最大字符,对一个大字段使用一个复杂的正则表达式是非常昂贵的.
1.2.21 hl.preserveMulti :默认false.如果为true,多值字段将会按照它们在索引中顺序返回所有的值.如果false,只有匹配高亮请求的值返回.
相关内容:
HighlightingParameters from the Solr wiki
Highlighting javadocs
1.3 FastVector Highlighter
FastVectorHighlighter是一个基于TermVector的高亮工具.在很多情况中,它提供了比标准高亮更高的性能.要使用FastVectorHighlighter,需要设置hl.useFastVectorHighlighter参数为true.
必须对每个高亮字段打开termVectors,termPositions,termOffsets.最后你需要使用一个界限扫描器来阻止FastVectorHighlighter截取你得terms.在大多数例子中,使用breakIterator边界扫描器将会给出一个更精确的结果.参考Using Boundary Scanners with the Fast Vector Highlighter获取更多的详细信息.
1.3.1 FastVector 高亮参数
下面是这个高亮的参数,大部分重复了standard highlighter的参数.这些参数可以在高亮搜索组件中定义.作为指定request handler的默认参数.或者使用查询query传递给request handler.
hl : 默认为空白(不高亮).为true时,开启高亮功能,为false或者空白或者缺少时,关闭高亮功能.
hl.useFastVectorHighligter:默认false. true:开启FastVector Highlighter.
hl.q:默认空白.覆盖高亮查询term.如果指定这个参数,将会覆盖主查询term.
hl.fl:默认空白．
指定高亮字段列表.多个字段之间以逗号或空格分开.如果为空白,对于StandardRequestHandler,高亮默认搜索字段(或者指定的df参数).对于
DisMaxRequestHandler,qf作为默认的."*"可以用于匹配全局,如"text_*"或者"*",当使用"*"时,hl.requireFieldMatch=true必填.
hl.snippets:默认为1.指定每个字段生成的高亮字段的最大数量.
hl.fragsize:每个snippet返回的最大字符数。默认是100.如果为0，那么该字段不会被fragmented且整个字段的值会被返回。大字段时不会这么做。
hl.requireFieldMatch:默认false.如果置为true，除非该字段的查询结果不为空才会被高亮。它的默认值是false，意味 着它可能匹配某个字段却高亮一个不同的字段。
如果hl.fl使用了通配符，那么就要启用该参数。尽管如此，如果你的查询是all字段（可能是使用 copy-field 指令），那么还是把它设为false，这样搜索结果能表明哪个字段
的查询文本未被找到
hl.maxMultiValuedToExamine: 默认integer.MAX_VALUE.在停止之前,指定检查的多值字段的最大条木数.在任何匹配没有找到之前,如果达到限制,可能会返回
0个结果.
hl.maxMultiValuedToMatch: 默认integer.MAX_VALUE.在停止之前,指定在多值字段中找到的最大匹配数.如果hl.maxMultiValuedToExamine也已经定义
了,whichever limit is reached first will determine when to stop looking.
hl.alternateField: 默认blank.如果没有生成snippet（没有terms 匹配），那么使用另一个字段值作为返回。
hl.maxAlternateFieldLength :默认 unlimited.如果hl.alternateField启用，则有时需要制定alternateField的最大字符长度，默认0是即没有限制。所以合理的
值是应该为hl.snippets * hl.fragsize这样返回结果的大小就能保持一致。
hl.tag.pre hl.tag.post:默认 <em> and </em>.高亮html标签
hl.phraseLimit:默认为integer.MAX_VALUE.为了提高FastVectorHighlighter的性能,可以对短语的数量做一个限制用于高亮分析.
hl.usePhraseHighlighter:默认为true.如果一个查询中含有短语（引号框起来的）那么会保证一定要完全匹配短语的才会被高亮。
hl.preserveMulti:默认false.如果为true,多值字段将会按照它们在索引中顺序返回所有的值.如果false,只有匹配高亮请求的值返回.
hl.fragListBuilder:默认为weighted.片段分割算法.weighted 的fragListBuilder使用IDF-weighted排序片段.其他的选项是single.返回整个字段内容作为一个片段.
或者是simple.使用这个参数你可以选择一个fragListBuilder.或者是修改一个在solrconfig.xml中已存在的实现,通过添加default=true来作为默认操作.
hl.fragmentsBuilder:默认为default 碎片生成器(fragment builder)主要用于格式化碎片,这些碎片默认使用<em>和</em>来标记.
1.3.2 Using Boundary Scanners with the Fast Vector Highlighter
和Fast Vector Highlighter 一起使用边界扫描器.
这个 Fast vector highlight 偶尔会截短高亮词语.为了防止这种情况,在solrconfig.xml中实现一个边界扫描器.然后使用hl.boundaryScanner参数来指定高亮使用的边界扫描器.
solr支持两种边界扫描器:breakIterator和simple.
1.3.2.1 breakIterator
界扫描器提供出色的性能,一开始就考虑本地和边界类型在内.在多数例子中使用breakIterator边界扫描器.为了实现这个breakIterator边界扫描器,将下面代码加入到solrconfig.xml文件中的highlighting部分.调整类型,语言,国家.
<boundaryScanner name="breakIterator" class="solr.highlight.BreakIteratorBoundaryScanner"> <lst name="defaults"> <str name="hl.bs.type">WORD</str> <str name="hl.bs.language">en</str> <str name="hl.bs.country">US</str> </lst> </boundaryScanner>
hl.bs.type参数的可能值是:WORD, LINE, SENTENCE, 和 CHARACTER.
1.3.2.1 simple
simple边界扫描器通过一个指定的最大字符数值(hl.bs.maxScan)和常用的分隔符(hl.bs.chars)来 扫描term边界.
<boundaryScanner name="simple" class="solr.highlight.SimpleBoundaryScanner" default="true"> <lst name="defaults"> <str name="hl.bs.maxScan">10</str> <str name="hl.bs.chars">.,!? </str> </lst> </boundaryScanner>
关联内容:
HighlightingParameters from the Solr wiki
Highlighting javadocs
1.4 Postings Highlighter
PostingsHighlighter比较关注好的文档摘要和效率,但是没有其他高亮工具灵活.它使用比价少的硬盘空间,专注好的文档摘要,提供一个高性能方法,如果相对于每页结果数查询有一个较低的terms数.但是,缺点就是它不是一个匹配debugger的查询,it does not allow broken analysis chains.
要使用这个高亮,必须打开字段的storeOffsetsWithPositions参数,不需要打开字段的termVectors,termPositions,termOffsets.因为这个高亮器不使用term向量.
1.4.1 Configuring Postings Highlighter
在solrconfig.xml中配置posting highlighter.
首先定义搜索组件:
<searchComponent class="solr.HighlightComponent" name="highlight"> <highlighting class="org.apache.solr.highlight.PostingsSolrHighlighter" /> </searchComponent>
在这个例子中,我们命名了一个highlight组件,如果你使用的是默认的solrconfig.xml文件,那么你已经有了一个这样名字的组件.你或者使用上面的组件替换掉默认的组件,或者
重命名已有的组件.
然后在request handler中,定义为默认高亮组件:
<requestHandler name="standard" class="solr.StandardRequestHandler"> <lst name="defaults"> <int name="hl.snippets">1</int> <str name="hl.tag.pre"><em></str> <str name="hl.tag.post"></em></str> <str name="hl.tag.ellipsis">... </str> <bool name="hl.defaultSummary">true</bool> <str name="hl.encoder">simple</str> <float name="hl.score.k1">1.2</float> <float name="hl.score.b">0.75</float> <float name="hl.score.pivot">87</float> <str name="hl.bs.language"></str> <str name="hl.bs.country"></str> <str name="hl.bs.variant"></str> <str name="hl.bs.type">SENTENCE</str> <int name="hl.maxAnalyzedChars">10000</int> </lst> </requestHandler>
这个例子展示了每个参数的默认值,如果你打算保留这些默认值,可以不添加这些参数.
1.4.2 Postings Highlighter Parameters
| 参数 | 默认值 | 描述 |
| hl | 空白(不高亮) | 为true时,开启高亮功能,为false或者空白或者缺少时,关闭高亮功能. |
| hl.q | 空白 | 覆盖高亮查询term.如果指定这个参数,将会覆盖主查询term. |
| hl.fl | 空白 | 指定高亮字段列表.多个字段之间以逗号或空格分开.如果为空白,对于StandardRequestHandler,高亮默认搜索字段(或者指定的df参数).对于 DisMaxRequestHandler,qf作为默认的."*"可以用于匹配全局,如"text_*"或者"*",当使用"*"时,hl.requireFieldMatch=true必填 |
| hl.snippets | 1 | 指定每个字段生成的高亮字段的最大数量. |
| hl.tag.pre | <em> | 高亮html标签前缀 |
| hl.tag.post | </em> | 高亮html标签后缀 |
| hl.tag.ellipsis | "... " | 在结果片段中连接两个不连接的短语. |
| hl.maxAnalyzedChars | 10000 | 指定solr应该查找的合适的片段所在文档的字符数量. |
| hl.multiValuedSeparatorChar | " "(空格) | 指定多值字段之间的逻辑分隔符 |
| hl.defaultSummary | true | true,如果高亮没有匹配短文,字段将有一个默认摘要. |
| hl.encoder | simple | 定义结果字段的编码,simple值不转义,html将会转义内容中的html标签. |
| hl.score.k1 | 1.2 | 标志BM25 term 规范化参水k1,例如,可以设置为0,说明只基于匹配的term数量排序短文 |
| hl.score.b | 0.75 | 标志BM25 长度的规范化参水b,例如,可以设置为0,说明在排序时忽略短文长度. |
| hl.score.pivot | 87 | 指定BM25的平均长度(字符数) |
| hl.bs.language | 空白 | 指定breakiterator的语言,用来分隔文档成短文片段. |
| hl.bs.country | 空白 | 指定breakiterator的国家,用来分隔文档成短文片段. |
| hl.bs.variant | 空白 | 指定breakiterator的变种,用来分隔文档成短文片段. |
| hl.bs.type | SENTENCE | 指定breakiterator的类型,用来分隔文档成短文片段.可以是SENTENCE,WORD CHARACTER LINE WHOLE. |
相关主题:
PostingsHighlighter from the Solr wiki
PostingsSolrHighlighter javadoc