• 电商指尖---(6)solrconfig.xml配置具体解释


                 solrconfig.xml配置文件主要定义SOLR理规则,包含索引数据的存放位置,更新,删除,查询的一些规则配置。

          能够在tomcat的安装路径下找到这个文件C:Program FilesApache Software FoundationTomcat 8.0solrcollection1conf

           1.datadir节点

             1.<dataDir>${solr.data.dir:d:/Server/Solr/data}</dataDir>定义了索引数据和日志文件的存放位置

           

         2.luceneMatchVersion

                 <luceneMatchVersion>4.8</luceneMatchVersion>

              表示solr底层使用的是lucene4.8

          3. lib

                <lib dir="../../../contrib/extraction/lib"regex=".*.jar"/>

             表示solr引用包的位置,当dir相应的文件夹不存在时候。会忽略此属性

     

          4.directoryFactory

              索引存储方案,共同拥有下面存储方案

               1、solr.StandardDirectoryFactory,这是一个基于文件系统存储文件夹的工厂,它会试图选择最好的实现基于你当前的操作系统和Java虚拟机版本号。
               2、solr.SimpleFSDirectoryFactory,适用于小型应用程序,不支持大数据和多线程。
               3、solr.NIOFSDirectoryFactory,适用于多线程环境。可是不适用在windows平台(非常慢),是由于JVM还存在bug。


               4、solr.MMapDirectoryFactory,这个是solr3.1到4.0版本号在linux64位系统下默认的实现。

    它是通过使用虚拟内存和内核特性调用

                 mmap去訪问存储在磁盘中的索引文件。它同意lucene或solr直接訪问I/O缓存。假设不须要近实时搜索功能。使用此工厂是个不错的方案。
               5、solr.NRTCachingDirectoryFactory,此工厂设计目的是存储部分索引在内存中,从而加快了近实时搜索的速度。
               6、solr.RAMDirectoryFactory,这是一个内存存储方案,不能持久化存储,在系统重新启动或servercrash时数据会丢失。

    且不支持索引复制

    <directoryFactory class="${solr.directoryFactory:solr.NRTCachingDirectoryFactory}" name="DirectoryFactory">
       <str name="solr.hdfs.home">${solr.hdfs.home:}</str>
       <str name="solr.hdfs.confdir">${solr.hdfs.confdir:}</str>
       <str name="solr.hdfs.blockcache.enabled">${solr.hdfs.blockcache.enabled:true}</str>
       <str name="solr.hdfs.blockcache.global">${solr.hdfs.blockcache.global:true}</str>
    </directoryFactory>
    
    

                 5. codecFactory
                       编解码工厂同意使用自己定义的编解码器。比如:假设想启动per-field DocValues格式, 能够在solrconfig.xml里面设置SchemaCodecFactory:
                        docValuesFormat="Lucene42": 这是默认设置,全部数据会被载入到堆内存中。
              docValuesFormat="Disk": 这是另外一个实现,将部分数据存储在磁盘上。
              docValuesFormat="SimpleText": 文本格式,很慢,用于学习。

                      <codecFactory class="solr.SchemaCodecFactory"/>
                      <schemaFactory class="ClassicIndexSchemaFactory"/>

                6.indexconfig节点

                     用于设置索引的低级别的属性

          1、<filter class="solr.LimitTokenCountFilterFactory" maxTokenCount="10000"/>//限制token最大长度
          2、<writeLockTimeout>1000</writeLockTimeout>//IndexWriter等待解锁的最长时间(毫秒)。


          3、<maxIndexingThreads>8</maxIndexingThreads>//
          4、<useCompoundFile>false</useCompoundFile>//solr默觉得false。

    假设为true,索引文件降低,检索性能降低,追求平衡。
          5、<ramBufferSizeMB>100</ramBufferSizeMB>//缓存
          6、<maxBufferedDocs>1000</maxBufferedDocs>//同上。两个同一时候定义时命中较低的那个。


          7、<mergePolicy class="org.apache.lucene.index.TieredMergePolicy">
             <int name="maxMergeAtOnce">10</int>
              <int name="segmentsPerTier">10</int>
             </mergePolicy>
              //合并策略。


          8、<mergeFactor>10</mergeFactor>//合并因子,每次合并多少个segments。
          9、<mergeScheduler class="org.apache.lucene.index.ConcurrentMergeScheduler"/>//合并调度器。
         10、<lockType>${solr.lock.type:native}</lockType>//锁工厂。
         11、<unlockOnStartup>false</unlockOnStartup>//是否启动时先解锁。


         12、<termIndexInterval>128</termIndexInterval>//Lucene loads terms into memory 间隔
         13、<reopenReaders>true</reopenReaders>//又一次打开,替代先关闭-再打开。
         14、<deletionPolicy class="solr.SolrDeletionPolicy">//提交删除策略,必须实现org.apache.lucene.index.IndexDeletionPolicy
         15、<str name="maxCommitsToKeep">1</str>
         16、<str name="maxOptimizedCommitsToKeep">0</str>
         17、<str name="maxCommitAge">30MINUTES</str> OR <str name="maxCommitAge">1DAY</str><br>   

         18、   <infoStream   file="INFOSTREAM.txt">false</infoStream>//相当于把创建索引时的日志输出。

          <lockType>${solr.lock.type:native}</lockType>
           设置索引库的锁方式,主要有三种:
            1.single:适用于仅仅读的索引库,即索引库是定死的,不会再更改
            2.native:使用本地操作系统的文件锁方式,不能用于多个solr服务共用同一个索引库。Solr3.6 及后期版本号使用的默认锁机制。
            3.simple:使用简单的文件锁机制

        7. updateHandler节点

               定义更新处理器,

    <updateLog>
     <str name="dir">${solr.ulog.dir:}</str>
     </updateLog>
    

                    设置索引库更新日志。默认路径为solr home以下的data/tlog。随着索引库的频繁更新,tlog文件会越来越大,

            所以建议提交索引时採用硬提交方式<autoCommit>,即批量提交。       

    <autoCommit>
     <maxTime>15000</maxTime>
     <maxDocs>10000</maxDocs>
     <openSearcher>false</openSearcher>
     </autoCommit>
    

              自己主动硬提交方式:maxTime:设置多长时间提交一次maxDocs:设置达到多少文档提交一次openSearcher:文档提交后是否开启新的searcher,

              假设false。文档仅仅是提交到index索引库,搜索结果中搜不到此次提交的文档。假设true,既提交到index索引库,也能在搜索结果中搜到此次提交的内容。

                      

    <updateHandler class="solr.DirectUpdateHandler2">
        <!-- 同意事务日志  --> 
        <updateLog>
          <str name="dir">${solr.ulog.dir:}</str>
        </updateLog>
    
        <!-- 
       在满足一定条件时自己主动提交。maxDocs/maxTime/openSearcher
          -->
         <autoCommit> 
           <maxTime>15000</maxTime> 
           <openSearcher>false</openSearcher> 
         </autoCommit>
    
        <!-- 软提交VS硬提交 -->
         <!--
          <autoSoftCommit> 
             <maxTime>1000</maxTime> 
           </autoSoftCommit>
          -->
    
        <!-- 
           更新相关事件监听器
            postCommit - fired after every commit or optimize command
             postOptimize - fired after every optimize command
          -->
        <!-- The RunExecutableListener executes an external command from a
             hook such as postCommit or postOptimize.
             exe - the name of the executable to run
             dir - dir to use as the current working directory. (default=".")
             wait - the calling thread waits until the executable returns. 
                    (default="true")
             args - the arguments to pass to the program.  (default is none)
             env - environment variables to set.  (default is none)
          -->
        <!--
          <listener event="postCommit" class="solr.RunExecutableListener">
             <str name="exe">solr/bin/snapshooter</str>
             <str name="dir">.</str>
             <bool name="wait">true</bool>
             <arr name="args"> <str>arg1</str> <str>arg2</str> </arr>
             <arr name="env"> <str>MYVAR=val1</str> </arr>
           </listener>
          -->
    
     </updateHandler>


                     8.Query查询节点

                 <maxBooleanClauses>1024</maxBooleanClauses>
                 设置boolean 查询中,最大条件数。在范围搜索或者前缀搜索时,会产生大量的 boolean 条件。
                 假设条件数达到这个数值时。将抛出异常,限制这个条件数。能够防止条件过多查询等待时间过长。


                                 缓存方法http://www.cnblogs.com/phinecos/archive/2012/05/24/2517018.html

                             

    <filterCache class="solr.FastLRUCache" size="512" initialSize="512" autowarmCount="0"/>
    
    <queryResultCache class="solr.LRUCache" size="512" initialSize="512" autowarmCount="0"/>
    
    <documentCache class="solr.LRUCache" size="512" initialSize="512" autowarmCount="0"/>
    
    <queryResultMaxDocsCached>200</queryResultMaxDocsCached>
    
    <maxWarmingSearchers>2</maxWarmingSearchers>


                    9.Request Dispatcher

                            请求转发器

               

    <!-- Request Dispatcher
         主要是介绍当有请求訪问SolrCore时SolrDispatchFilter怎样处理。

    handleSelect是一个曾经版本号中遗留下来的属性,会影响请求的相应行为(比方/select?

    qt=XXX)。 当handleSelect="true"时导致SolrDispatchFilter将请求转发给qt指定的处理器(前提是/select已经注冊)。 当handleSelect="false"时会直接訪问/select,若/select未注冊则为404。 --> <requestDispatcher handleSelect="false" > <!-- Request Parsing:请求解析 这些设置说明Solr Requests怎样被解析,以及对ContentStreams有什么限制。 enableRemoteStreaming - 是否同意使用stream.file和stream.url參数来指定远程streams。

    multipartUploadLimitInKB - 指定多文件上传时Solr同意的最大的size。

    formdataUploadLimitInKB - 表单通过POST请求发送的最大size --> <requestParsers enableRemoteStreaming="true" multipartUploadLimitInKB="2048000" formdataUploadLimitInKB="2048"/> <!-- HTTP Caching 设置HTTP缓存的相关參数。

    --> <httpCaching never304="true" /> <!-- <httpCaching never304="true" > <cacheControl>max-age=30, public</cacheControl> </httpCaching> --> <!-- <httpCaching lastModifiedFrom="openTime" etagSeed="Solr"> <cacheControl>max-age=30, public</cacheControl> </httpCaching> --> </requestDispatcher>


             10.requestHandler

                              请求处理器

               

    <!-- Request Handlers 
         输入的请求会通过请求中的路径被转发到特定的处理器。
        -->
       <!-- SearchHandler
         主要的请求处理器是SearchHandler,它提供一系列SearchComponents。

    通过multiple shards支持分布式。 --> <requestHandler name="/select" class="solr.SearchHandler"> <!-- 能够指定默认值。--> <lst name="defaults"> <str name="echoParams">explicit</str> <int name="rows">10</int> <str name="df">text</str> </lst> <!-- 加入属性 --> <!-- <lst name="appends"> <str name="fq">inStock:true</str> </lst> --> <!-- 使用方法同上,尽量不要使用。--> <!-- <lst name="invariants"> <str name="facet.field">cat</str> <str name="facet.field">manu_exact</str> <str name="facet.query">price:[* TO 500]</str> <str name="facet.query">price:[500 TO *]</str> </lst> --> <!-- 以下的配置能够重置SearchComponents--> <!-- <arr name="components"> <str>nameOfCustomComponent1</str> <str>nameOfCustomComponent2</str> </arr> --> </requestHandler>


     

          假设想更深入了解,能够參考下这几篇文章,

               http://wiki.apache.org/solr/SolrConfigXml/

              http://www.yunvn.com/thread-15932-1-1.html 

              http://www.luoshengsha.com/197.html   

    版权声明:本文博主原创文章,博客,未经同意不得转载。

  • 相关阅读:
    js 模块循环加载
    英文
    浏览器
    ecma
    Speaking JavaScript
    es6 exploringjs 2
    es6 兼容性
    es6 中文
    Exploring ES6
    探索ES6(ES2015)
  • 原文地址:https://www.cnblogs.com/zfyouxi/p/4850637.html
Copyright © 2020-2023  润新知