• Solr SchemaXml 一些解读

    The schema.xml file contains all of the details about which fields your documents can contain, and how those fields should be dealt with when adding documents to the index, or when querying those fields.

    schema.xml位于solr/conf/目录下，类似于数据表配置文件，定义了加入索引的数据的数据类型，主要包括type、fields和其他的一些缺省设置。

    Data Types

    The <types> section allows you to define a list of <fieldtype> declarations you wish to use in your schema, along with the underlying Solr class that should be used for that type, as well as the default options you want for fields that use that type.

    types节点，这里面定义FieldType子节点，包括name,class,positionIncrementGap等一些参数。

    • name：就是这个FieldType的名称。
    • class：指向org.apache.solr.analysis包里面对应的class名称，用来定义这个类型的行为。
    Xml代码  收藏代码
    1. <schema name="example" version="1.2">    
    2.   <types>    
    3.     <fieldType name="string" class="solr.StrField" sortMissingLast="true" omitNorms="true"/>    
    4.     <fieldType name="boolean" class="solr.BoolField" sortMissingLast="true" omitNorms="true"/>    
    5.     <fieldtype name="binary" class="solr.BinaryField"/>    
    6.     <fieldType name="int" class="solr.TrieIntField" precisionStep="0" omitNorms="true"     
    7.                                                                 positionIncrementGap="0"/>    
    8.     <fieldType name="float" class="solr.TrieFloatField" precisionStep="0" omitNorms="true"     
    9.                                                                 positionIncrementGap="0"/>    
    10.     <fieldType name="long" class="solr.TrieLongField" precisionStep="0" omitNorms="true"     
    11.                                                                 positionIncrementGap="0"/>    
    12.     <fieldType name="double" class="solr.TrieDoubleField" precisionStep="0" omitNorms="true"     
    13.                                                                 positionIncrementGap="0"/>    
    14.   ...    
    15.   </types>    
    16.   ...    
    17. </schema>    

     必要的时候fieldType还需要自己定义这个类型的数据在建立索引和进行查询的时候要使用的分析器analyzer，包括分词和过滤，如下：

    Xml代码  收藏代码
    1. <fieldType name="text_ws" class="solr.TextField" positionIncrementGap="100">    
    2.   <analyzer>    
    3.     <tokenizer class="solr.WhitespaceTokenizerFactory"/>    
    4.   </analyzer>    
    5. </fieldType>    
    6. <fieldType name="text" class="solr.TextField" positionIncrementGap="100">    
    7.   <analyzer type="index">    
    8.     <!--这个分词包是空格分词，在向索引库添加text类型的索引时，Solr会首先用空格进行分词    
    9.          然后把分词结果依次使用指定的过滤器进行过滤，最后剩下的结果，才会加入到索引库中以备查询。    
    10.       注意:Solr的analysis包并没有带支持中文的包，需要自己添加中文分词器，google下。      
    11.      -->    
    12.     <tokenizer class="solr.WhitespaceTokenizerFactory"/>    
    13.         <!-- in this example, we will only use synonyms at query time    
    14.         <filter class="solr.SynonymFilterFactory" synonyms="index_synonyms.txt"     
    15.                                                   ignoreCase="true" expand="false"/>    
    16.         -->    
    17.         <!-- Case insensitive stop word removal.    
    18.           add enablePositionIncrements=true in both the index and query    
    19.           analyzers to leave a 'gap' for more accurate phrase queries.    
    20.         -->    
    21.       <filter class="solr.StopFilterFactory"    
    22.                 ignoreCase="true"    
    23.                 words="stopwords.txt"    
    24.                 enablePositionIncrements="true"    
    25.                 />    
    26.       <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1"     
    27.               generateNumberParts="1" catenateWords="1" catenateNumbers="1"     
    28.               catenateAll="0" splitOnCaseChange="1"/>    
    29.       <filter class="solr.LowerCaseFilterFactory"/>    
    30.       <filter class="solr.SnowballPorterFilterFactory" language="English"     
    31.                                                        protected="protwords.txt"/>    
    32.     </analyzer>    
    33.     <analyzer type="query">    
    34.       <tokenizer class="solr.WhitespaceTokenizerFactory"/>    
    35.         <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true"     
    36.                                                                           expand="true"/>    
    37.         <filter class="solr.StopFilterFactory"    
    38.                 ignoreCase="true"    
    39.                 words="stopwords.txt"    
    40.                 enablePositionIncrements="true"    
    41.                 />    
    42.         <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1"     
    43.                 generateNumberParts="1" catenateWords="0" catenateNumbers="0"     
    44.                                         catenateAll="0" splitOnCaseChange="1"/>    
    45.         <filter class="solr.LowerCaseFilterFactory"/>    
    46.         <filter class="solr.SnowballPorterFilterFactory" language="English"     
    47.                                                          protected="protwords.txt"/>    
    48.       </analyzer>    
    49. </fieldType>    
     

    Fields

    The <fields> section is where you list the individual <field> declarations you wish to use in your documents. Each <field> has a name that you will use to reference it when adding documents or executing searches, and an associated type which identifies the name of the fieldtype you wish to use for this field. There are various field options that apply to a field. These can be set in the field type declarations, and can also be overridden at an individual field's declaration.

    fields节点内定义具体的字段（类似数据库的字段），含有以下属性：

    • name：字段名
    • type：之前定义过的各种FieldType
    • indexed：是否被索引
    • stored：是否被存储（如果不需要存储相应字段值，尽量设为false）
    • multiValued：是否有多个值（对可能存在多值的字段尽量设置为true，避免建索引时抛出错误）
    Xml代码  收藏代码
    1. <fields>    
    2.     <field name="id" type="integer" indexed="true" stored="true" required="true" />    
    3.     <field name="name" type="text" indexed="true" stored="true" />    
    4.     <field name="summary" type="text" indexed="true" stored="true" />    
    5.     <field name="author" type="string" indexed="true" stored="true" />    
    6.     <field name="date" type="date" indexed="false" stored="true" />    
    7.     <field name="content" type="text" indexed="true" stored="false" />    
    8.     <field name="keywords" type="keyword_text" indexed="true" stored="false" multiValued="true" />    
    9.     <!--拷贝字段-->    
    10.     <field name="all" type="text" indexed="true" stored="false" multiValued="true"/>    
    11. </fields>    

    Copy Fields

    建议建立一个拷贝字段，将所有的 全文本 字段复制到一个字段中，以便进行统一的检索：

     以下是拷贝设置：

    Xml代码  收藏代码
    1. <copyField source="name" dest="all"/>    
    2. <copyField source="summary" dest="all"/>    

     以下为一个完整的copyfield定义：

    Java代码  收藏代码
    1. <schema name="eshequn.post.db_post.0" version="1.1"  
    2.     xmlns:xi="http://www.w3.org/2001/XInclude">  
    3.      <fields>  
    4.         <!-- for title -->  
    5.         <field name="t" type="text" indexed="true" stored="false" />  
    6.         <!-- for abstract -->  
    7.         <field name="a" type="text" indexed="true" stored="false" />  
    8.         <!-- for title and abstract -->  
    9.         <field name="ta" type="text" indexed="true" stored="false" multiValued="true"/>  
    10.     </fields>  
    11.     <copyField source="t" dest="ta" />  
    12.     <copyField source="a" dest="ta" />  
    13. </schema>Copy Fields  

    字段t是文章的标题，字段a是文章的摘要，字段ta是文章标题和摘要的联合。添加索引文档时，只需要传入t和a字段的内容，solr会自动索引ta字段。

    Dynamic fields

    One of the powerful features of Lucene is that you don't have to pre-define every field when you first create your index. Even though Solr provides strong datatyping for fields, it still preserves that flexibility using "Dynamic Fields". Using <dynamicField> declarations, you can create field rules that Solr will use to understand what datatype should be used whenever it is given a field name that is not explicitly defined, but matches a prefix or suffix used in a dynamicField.

    For example the following dynamic field declaration tells Solr that whenever it sees a field name ending in "_i" which is not an explicitly defined field, then it should dynamically create an integer field with that name...

    Xml代码  收藏代码
    1. <dynamicField name="*_i"  type="integer"  indexed="true"  stored="true"/>  

    The Unique Key Field

    The <uniqueKey> declaration can be used to inform Solr that there is a field in your index which should be unique for all documents. If a document is added that contains the same value for this field as an existing document, the old document will be deleted. It is not mandatory for a schema to have a uniqueKey field.

    schema.xml文档注释中的信息：

    1、为了改进性能，可以采取以下几种措施：

    • 将所有只用于搜索的，而不需要作为结果的field（特别是一些比较大的field）的stored设置为false
    • 将不需要被用于搜索的，而只是作为结果返回的field的indexed设置为false
    • 删除所有不必要的copyField声明
    • 为了索引字段的最小化和搜索的效率，将所有的 text fields的index都设置成field，然后使用copyField将他们都复制到一个总的 text field上，然后对他进行搜索。
    • 为了最大化搜索效率，使用java编写的客户端与solr交互（使用流通信）
    • 在服务器端运行JVM（省去网络通信），使用尽可能高的Log输出等级，减少日志量。

    2、< schema name =" example " version =" 1.2 " >

    • name：标识这个schema的名字
    • version：现在版本是1.2

    3、filedType

    < fieldType name =" string " class =" solr.StrField " sortMissingLast =" true " omitNorms =" true " />

    • name：标识名称，定义fields节点时field的type属性指定该值
    • class和其他属性决定了这个fieldType的实际行为。（class以solr开始的，都是在org.appache.solr.analysis包下）

    可选的属性：

    • sortMissingLast和sortMissingFirst两个属性是用在可以内在使用String排序的类型上（包括：string,boolean,sint,slong,sfloat,sdouble,pdate）。
    • sortMissingLast="true"，没有该field的数据排在有该field的数据之后，而不管请求时的排序规则。
    • sortMissingFirst="true"，跟上面倒过来呗。
    • 2个值默认是设置成false

    StrField类型不被分析，而是被逐字地索引/存储。

    StrField和TextField都有一个可选的属性“compressThreshold”，保证压缩到不小于一个大小（单位：char）

    < fieldType name =" text " class =" solr.TextField " positionIncrementGap =" 100 " >

    solr.TextField 允许用户通过分析器来定制索引和查询，分析器包括 一个分词器（tokenizer）和多个过滤器（filter）

    positionIncrementGap：可选属性，定义在同一个文档中此类型数据的空白间隔，避免短语匹配错误。

    < tokenizer class =" solr.WhitespaceTokenizerFactory " />

    空格分词，精确匹配。

    < filter class =" solr.WordDelimiterFilterFactory " generateWordParts =" 1 " generateNumberParts =" 1 "catenateWords =" 1 " catenateNumbers =" 1 " catenateAll =" 0 " splitOnCaseChange =" 1 " />

    在分词和匹配时，考虑 "-"连字符，字母数字的界限，非字母数字字符，这样 "wifi"或"wi fi"都能匹配"Wi-Fi"。

    < filter class =" solr.SynonymFilterFactory " synonyms =" synonyms.txt " ignoreCase =" true " expand ="true " />

    同义词

    < filter class =" solr.StopFilterFactory " ignoreCase =" true " words =" stopwords.txt "enablePositionIncrements =" true " />

    在禁用字（stopword）删除后，在短语间增加间隔

    stopword：即在建立索引过程中（建立索引和搜索）被忽略的词，比如is this等常用词。在conf/stopwords.txt维护。

    4、fields

    < field name =" id " type =" string " indexed =" true " stored =" true " required =" true " />

    • name：标识名称。
    • type：先前定义的类型。
    • indexed：是否被用来建立索引（关系到搜索和排序）
    • stored：是否储存
    • compressed：[false]，是否使用gzip压缩（只有TextField和StrField可以压缩）
    • mutiValued：是否包含多个值
    • omitNorms：是否忽略掉Norm，可以节省内存空间，只有全文本field和need an index-time boost的field需要norm。（具体没看懂，注释里有矛盾）
    • termVectors：[false]，当设置true，会存储 term vector。当使用MoreLikeThis，用来作为相似词的field应该存储起来。
    • termPositions：存储 term vector中的地址信息，会消耗存储开销。
    • termOffsets：存储 term vector 的偏移量，会消耗存储开销。
    • default：如果没有属性需要修改，就可以用这个标识下。

    < field name =" text " type =" text " indexed =" true " stored =" false " multiValued =" true " />

    包罗万象（有点夸张）的field，包含所有可搜索的text fields，通过copyField实现。

    < copyField source =" cat " dest =" text " />

      < copyField source =" name " dest =" text " />
      < copyField source =" manu " dest =" text " />
      < copyField source =" features " dest =" text " />
      < copyField source =" includes " dest =" text " />

    在添加索引时，将所有被拷贝field（如cat）中的数据拷贝到text field中

    作用：

    • 将多个field的数据放在一起同时搜索，提供速度
    • 将一个field的数据拷贝到另一个，可以用2种不同的方式来建立索引。

    < dynamicField name =" *_i " type =" int " indexed =" true " stored =" true " />

    如果一个field的名字没有匹配到，那么就会用动态field试图匹配定义的各种模式。

    • "*"只能出现在模式的最前和最后
    • 较长的模式会被先去做匹配
    • 如果2个模式同时匹配上，最先定义的优先

    < dynamicField name =" * " type =" ignored " multiValued=" true " />

    如果通过上面的匹配都没找到，可以定义这个，然后定义个type，当String处理。（一般不会发生）但若不定义，找不到匹配会报错。

    5、其他一些标签

     < uniqueKey > id </ uniqueKey >

    文档的唯一标识， 必须填写这个field（除非该field被标记required="false"），否则solr建立索引报错。（跟wiki里说的It is not mandatory for a schema to have a uniqueKey field. 相反）

    < defaultSearchField > text </ defaultSearchField >

    如果搜索参数中没有指定具体的field，那么这是默认的域。

    < solrQueryParser defaultOperator =" OR " />

    配置搜索参数短语间的逻辑，可以是"AND|OR"。
  • 相关阅读:
    Admin注册和路由分发详解
    自定义Xadmin
    苑昊老师的博客
    pip 国内源 配置
    Django模型层(2)
    Django 中间件
    Django form表单
    整理的最全 python常见面试题（基本必考）
    AJAX
    Cookie、Session和自定义分页
  • 原文地址：https://www.cnblogs.com/cuihongyu3503319/p/9448080.html
Copyright © 2020-2023  润新知