• Solr6.6.0 用 SimplePostTool索引文件的启示


      本文主要是介绍通过SimplePostTool工具索引文件的结果进行确认,针对不同的文件,索引的结果不同。

      1、创建core

        首先启动solr,建立名称为data的core,SimplePostTool工具使用参照:http://www.cnblogs.com/shaosks/p/7390523.html

        由于导入文件的过程需要用到post.jar这个包,所以先把solr-6.6.0exampleexampledocs文件夹下的post.jar拷贝到solr-6.6.0in文件夹下。

        solr start;  solr create -c data

        

      2、导入文件

        和solr-6.6.0in文件夹同级目录下Import文件夹,下面有以下有8个文件:

        

        其中前三个文件都是结构化的,有对应的字段。后面的文件就是非结构化的文件。现在导入

        2.12017-07-07_info.csv文件

        内容如下,需要注意的是csv文件由于包含中文,所以必须以utf-8格式保存,否则导入后,中文是乱码

        

        2.2、books.json文件

        内容如下,需要注意的是books.json格式不能保存为utf-8的格式,否则导入时报错。

        

       2.3、xml文件

        内容如下,需要注意的是xml文件由于包含中文,所以必须以utf-8格式保存,否则导入后,中文是乱码

        

        

        导入命令:  java -Dauto=yes -Dc=mycore -jar post.jar ..Import*.*

        

      3、配置文件

       注意dataconf下的配置文件managed-schema,注意里面的内容在导入前和导入后的变化,在导入后,对于上面的csv,json和json这三个结构化文档中涉及的字段,都会自动增加到managed-schema文档中

       下面这些字段都是导入过程自动增加的

        

       

      4、导入结果查询

        1、2017-07-07_info.csv索引结果

         奇怪的是原来csv文件中title字段,变为了_title,前面增加了一个下划线,经过多次测试,都第一个字段,增加一个下划线。

        

          把文件中的title字段改为scheme,

          

          重新导入,查询结果:scheme字段前面又增加了一个下划线

          

          在CSV文件增加一列blank_title,该列都是空值

           

          重新导入,结果正常,而且blank_title也不会索引

          

        2、books.json索引结果

          

        3、mem.xml索引结果

           

        4、十九大报告全文.docx索引结果

        

        同样doc, pdf和txt格式的文件索引结果都是类似的,因此对这样的文件索引要用其它方式。

           

       总结:SimplePostTool工具适合索引csv/json/xml这种结构化文档,像doc, pdf和txt这种非结构化,索引数据后无法搜索相关的信息

  • 相关阅读:
    团队作业WEEK3
    团队作业week2#
    团队作业week2
    Team Homework #3
    learning from the previous teams
    Team Homework #2
    Java语法基础相关
    关于Java的专有名词
    图片验证码
    省市二级联动
  • 原文地址:https://www.cnblogs.com/shaosks/p/7941396.html
Copyright © 2020-2023  润新知