Solr

 

 Solr是什么

Solr是一个基于全文检索的企业级应用服务器。

全文检索：可以输入一段文字，通过分词检索数据！！

应用服务器：它是单独的服务。

Solr能做什么

它就是用于做全文搜索。

 为什么需要Solr

    问题：我们已经有Lucene，为什么还要学习solr?

答：Lucene是一个工具包，不能单独运行，需要导入到java代码中。

Solr可以独立运行在tomcat容器中，通过http协议，以接口的方式对外提供服务，java代码只需要专注于业务的处理就可以。

Solr下载路径

http://archive.apache.org/dist/lucene/solr/

solr是基于lucene实现的，和Lucene同步更新。

Solr目录结构说明

bin：solr的运行脚本

contrib：solr的一些扩展jar包，用于增强solr的功能。

dist：该目录包含build过程中产生的war和jar文件，以及相关的依赖文件。

docs：solr的API文档

example：solr工程的例子目录：

licenses：solr相关的一些许可信息

入门示例

需求

使用Solr实现电商网站的商品搜索功能。

 配置步骤说明

（1）配置Solr服务器。

（2）配置SolrHome。（Solr服务的主目录，磁盘）

（3）在Solr服务器中加载SolrHome。

（4）java程序访问Solr服务器，实现全文搜索。

 配置步骤

 第一部分：配置Solr服务器

--说明：Solr可以独立运行，需要servlet容器加载它。本文使用tomcat。

 第一步：解压一个Tomcat

解压一个新的Tomcat，专门用来加载Solr。

第二步：部署Solr服务到Tomcat中

--在Solr的下载包中，提供了Solr的war包程序。（空的war包程序）

 

 

 

第二步：创建索引

--步骤说明。（复习回顾）

（1）采集数据。

（2）将数据转换成Solr文档。

（3）连接solr服务器，将文档写入索引库。

 Step1：采集数据

--需求采集的字段说明：

参与搜索的字段：名称、价格、商品类别、描述信息

参与结果展示的字段：商品id、图片、

（1）创建Product类

public class Product {

    private Integer pid;
    
    private String name;
    
    private String catalog_name;
    
    private double price;
    
    private String description;
    
    private String picture;
    
// 补全get、set方法
}

（2）创建ProductDao类

/**
     * 采集数据
     * @return
     */
    public List<Product> gathData(){
        
        List<Product> products = new ArrayList<>();
        
        try {
            
            //1、加载驱动
            Class.forName("com.mysql.jdbc.Driver");
            //2、获取Connection连接
            connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/solr", "root", "gzsxt");
            //3、获取PreparedStatement,执行预编译
            pst = connection.prepareStatement("select pid,name, catalog_name,price,description,picture from products");
            //4、执行sql搜索
            rs = pst.executeQuery();
            
            Product p = null;
            while(rs.next()){
                p = new Product();
                p.setPid(rs.getInt("pid"));
                p.setName(rs.getString("name"));
                p.setPrice(rs.getFloat("price"));
                p.setPicture(rs.getString("picture"));
                p.setDescription(rs.getString("description"));                  
                p.setCatalogName(rs.getString("catalog_name"));
                
                products.add(p);
            }
            
            
        } catch (Exception e) {
            e.printStackTrace();
        }finally {
            if(null!=rs){
                try {
                    rs.close();
                } catch (SQLException e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
            }
            if(null!=pst){
                try {
                    pst.close();
                } catch (SQLException e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
            }
            if(null!=connection){
                try {
                    connection.close();
                } catch (SQLException e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
            }
        }

        
        return products;
    }
    

（3）创建一个测试类ProductDaoTest

public class ProductDaoTest {

    @Test
    public void getAllProducts(){
        ProductDao dao = new ProductDao();
        System.out.println(dao.getAllProducts());
    }
}

 Step2：将数据转换成Solr文档SolrInputDocument

--说明：solr是通过SolrInputDocument来封装数据的。部分源码如下：

public SolrInputDocument(Map fields){

        _documentBoost = 1.0F;

        _fields = fields;

}

public void addField(String name, Object value){

        addField(name, value, 1.0F);

}

问题：我们在Lucene中知道，域有三大属性，在创建文档的时候指定。而Solr的源码中，只是用一个Map集合来封装域的信息。那域的三大属性怎么定义呢？

答：Solr是通过一个配置文件schema.xml，事先定义域的信息的。

 Solr域的说明

--通过<field>标签定义域的名称等信息

 

 Solr域的特点

（1）、Solr的域必须先定义，后使用。（否则报错：unknown fieldName）

（2）、定义solr域的时候，必须指定是否索引、是否存储这两个属性。<field>

（3）、定义solr域的时候，必须指定域的类型<fieldType>：

  因为域的类型确定了这个域在索引、搜索两个阶段的分词属性。

<field>标签： 来指定索引、存储两个属性

<fieldType>标签：来指定分词属性

（4）、每一个文档中，必须包含id这个域，它的值标记文档的唯一性。

 

配置Solr业务域

--商品各字段属性说明

域	Tokened	Indexed	Stored
商品的id	N	Y	Y
商品的名称	Y	Y	Y
商品的类别	N	Y	Y
商品的价格	Y	Y	Y
商品的图片	N	N	Y
商品描述信息	Y	Y	N

--修改schema.xml，添加如下配置。（id域不用配置，直接使用solr的id域）

<!--product-->

<field name="id" type="string" indexed="true" stored="true" required="true"

multiValued="false" />

<field name="product_name" type="text_general" indexed="true" stored="true"/>

<field name="product_catalog_name" type="string" indexed="true" stored="true" />

<field name="product_price"  type="double" indexed="true" stored="true"/>

<field name="product_description" type="text_general" indexed="true" stored="false" />

<field name="product_picture" type="string" indexed="false" stored="true" />

 修改ProductDao,新增getDocuments方法

 /**
     * 将采集的数据，转换成文档类型
     * @param products
     * @return
     */
    public List<SolrInputDocument> getDocuments(List<Product> products){
        List<SolrInputDocument> si = new ArrayList<>();

        SolrInputDocument doc = null;
        for (Product product : products){
            //文档是由域组成的。域对应数据库表的字段
            doc = new SolrInputDocument();
            doc.addField("id", product.getPid());
            doc.addField("product_name", product.getName());
            doc.addField("product_catalog_name", product.getCatalogName());
            doc.addField("product_price", product.getPrice());
            doc.addField("product_description", product.getDescription());
            doc.addField("product_picture", product.getPicture());
            si.add(doc);
        }

        return si;
    }

Step3：连接Solr服务器，创建索引

--前提：已经启动了Tomcat，加载了Solr服务器。（前面给过schema.xml，需要重写启动Tomcat）

--修改ProductDaoTest类，新增createIndex方法

/**
     * 将采集的数据，转换成文档类型
     * @param products
     * @return
     */
    public List<SolrInputDocument> getDocuments(List<Product> products){
        List<SolrInputDocument> si = new ArrayList<>();

        SolrInputDocument doc = null;
        for (Product product : products){
            //文档是由域组成的。域对应数据库表的字段
            doc = new SolrInputDocument();
            doc.addField("id", product.getPid());
            doc.addField("product_name", product.getName());
            doc.addField("product_catalog_name", product.getCatalogName());
            doc.addField("product_price", product.getPrice());
            doc.addField("product_description", product.getDescription());
            doc.addField("product_picture", product.getPicture());
            si.add(doc);
        }

        return si;
    }

 第三步：搜索索引

--修改ProductDaoTest类型，新增一个查询方法

@Test
    public void queryIndex() throws Exception {
        // 创建HttpSolrServer对象，通过它和Solr服务器建立连接。
        // 参数：solr服务器的访问地址
        HttpSolrServer server = new HttpSolrServer("http://localhost:8080/solr/solrCore0719");

        // 创建SolrQuery对象
        SolrQuery query = new SolrQuery();
        // 设置查询条件,参考主界面
        query.set("q", "*:*");

        // 调用server的查询方法，查询索引库
        QueryResponse response = server.query(query);

        // 查询结果
        SolrDocumentList results = response.getResults();

        // 查询结果总数
        long cnt = results.getNumFound();
        System.out.println("查询结果总数:" + cnt);

        System.out.println("--------------------分隔符-------------------");
        
        for (SolrDocument solrDocument : results) {
            System.out.println("商品id:"+solrDocument.get("id"));
            System.out.println("商品名称:"+solrDocument.get("product_name"));
            System.out.println("商品价格:"+solrDocument.get("product_price"));        
            System.out.println("商品类别:"+solrDocument.get("product_catalog_name"));
            System.out.println("商品图片:"+solrDocument.get("product_picture"));
            
            System.out.println("----------------------------------------");
        }
    }

 solr管理控制台

 查询界面说明

对照界面，实现复杂查询

--修改ProductDaoTest类型，新增动态查询方法

@Test
    public void queryDynamic(){
        //1、连接solr服务器
        HttpSolrServer server = new HttpSolrServer("http://localhost:8080/solr/solrCore0719");
        
        //2、创建查询对象，封装查询条件
        SolrQuery query = new SolrQuery();
        //设置默认搜索的域
        query.set("df", "product_name");
        
        //参考管理界面中的 "q"标签，封装查询的关键词
        query.set("q", "音乐盒");
        
        //添加价格过滤
        query.addFilterQuery(“fq”,"product_price:[10 TO 50]");
        //添加类别过滤
        query.addFilterQuery("product_catalog_name:幽默杂货");
        
        //设置排序  价格升序
        query.set("sort","product_price asc");
        
        
        //设置分页信息  第二页 每页10条   start=(page-1)*pageSize
        query.set("start", 10);
        query.set("rows",10);
        
        //设置要查询字段
        query.set("fl", "id,product_name,product_price");
        
        //3、执行查询
        try {
            QueryResponse response = server.query(query);
            
            //获取查询的响应码
            int status = response.getStatus();
            System.out.println("响应码:"+status);
            
            if(0==status){
                SolrDocumentList solrDocumentList = response.getResults();
                
                long numFound = solrDocumentList.getNumFound();
                System.out.println("共查询到"+numFound+"条满足条件的数据!");
                System.out.println("--------------");
                for (SolrDocument s : solrDocumentList) {
                    System.out.println("商品的id:"+s.get("id"));
                    System.out.println("商品的名称:"+s.get("product_name"));
                    System.out.println("商品的价格:"+s.get("product_price"));
                    System.out.println("商品的图片:"+s.get("product_picture"));
                    System.out.println("商品的类别名称:"+s.get("product_catalog_name"));
                    System.out.println("商品的描述:"+s.get("product_decsription"));
                    System.out.println("-----------分隔符---------------");
                }
                
            }
            
        } catch (SolrServerException e) {
            
            e.printStackTrace();
        }
    }

 安装DataImport插件

 Dataimport插件说明

--好处：可以在管理界面直接从数据库导入数据到索引库。（即：一个插件解决入门示例中，创建索引的全部操作）

 

（3）、在solrconfig.xml文件中，加载这两个jar依赖

<lib dir="F:/depJar/contrib/dataimporthandler/lib/" regex=".*.jar" />

<lib dir="F:/depJar/contrib/db/lib/" regex=".*.jar" />

 第二步：配置数据库表和solr域的映射关系

--在solr实例的conf目录下，配置数据库映射文件data-config.xml

<?xml version="1.0" encoding="UTF-8" ?>  

<dataConfig>   

<dataSource type="JdbcDataSource"   

  driver="com.mysql.jdbc.Driver"   

  url="jdbc:mysql://localhost:3306/solr"   

  user="root"   

  password="gzsxt"/>   

<document>   

<entity name="product" query="SELECT pid,name,catalog,catalog_name,price,description,picture FROM products ">

 <field column="pid" name="id"/>

 <field column="name" name="product_name"/>

 <field column="catalog_name" name="product_catalog_name"/>

 <field column="price" name="product_price"/>

 <field column="description" name="product_description"/>

 <field column="picture" name="product_picture"/>

</entity>   

</document>   

</dataConfig>

 第三步：创建dataimport处理器

--说明：Solr是在solrconfig.xml文件中，通过<requestHandler>标签定义各类请求处理器

--修改solrconfig.xml，添加如下配置。（加载data-config.xml映射文件）

<requestHandler name="/dataimport"

class="org.apache.solr.handler.dataimport.DataImportHandler">

           <lst name="defaults">

           <str name="config">data-config.xml</str>

           </lst>

  </requestHandler> 

第四步：重启tomcat，在管理界面测试

--测试清空索引库，成功！！！

 Analyzer分析器，配置中文分词器

 Solr自带分词器的缺陷

--solr跟Lucene一样，提供了很多分析器。可以在Analyzer选型下测试分词效果。

lr配置中文分析器

 中文分析器选择

选择IK中文分词器。

 配置步骤

 第一步：添加IkAnalyze的jar依赖

--把IKAnalyzer2012FF_u1.jar添加到solr/WEB-INF/lib目录下。

 第二步：加载IkAnalyzer的核心配置文件

--拷贝IkAnalyzer的配置文件到solr/WEB-INF/classes目录

 第三步：创建中文分词器

--在schema.xml中自定义一个FieldType，指定中文分词器IKAnalyzer。

<!-- IKAnalyzer-->

    <fieldType name="text_ik" class="solr.TextField">

             <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>

    </fieldType>

测试中文分词器

 第一步：重启tomcat

 第二步：在analysis选项卡下，测试分词效果。成功！！！

改造业务域，使用IK做分词器

--修改schem.xml文件，修改需要分词的域的fieldType类型

我们只需要修改product_name、product_description两个业务域即可。

<field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" />

  

   <field name="product_name" type="text_ik" indexed="true" stored="true"/>

   <field name="product_catalog_name" type="string" indexed="true" stored="true" />

   <field name="product_price"  type="double" indexed="true" stored="true"/>

   <field name="product_description" type="text_ik" indexed="true" stored="false" />

   <field name="product_picture" type="string" indexed="false" stored="true" />

--重启tomcat即可。