Lucene入门

1.需求

2.创建索引

　　2.1实现步骤

　　2.2.创建lucene项目

　　2.3代码实现

3.查询索引

　　3.1实现步骤

　　3.2代码实现

4.分析器

　　4.1标准分析器的分词效果

　　4.2IKAnalyzer分析器的分词效果

5.索引库的维护

　　5.1Field域的属性

　　5.2索引库的添加、删除、修改

6.Lucene索引库查询

　　6.1TermQuery

　　6.2数据查询和使用QueryParser查询

项目目录：

1.需求

实现一个文件的搜索功能，通过关键字搜索文件，凡是文件名或文件内容包括关键字的文件都需要找出来。还可以根据中文词语进行查询，并且需要支持多个条件查询。

本案例中的原始内容就是磁盘上的文件，如下图：

2.创建索引

2.1实现步骤

第一步：创建一个java工程，并导入jar包。

第二步：创建一个indexwriter对象。

1）指定索引库的存放位置Directory对象

2）指定一个IndexWriterConfig对象。

第二步：创建document对象。

第三步：创建field对象，将field添加到document对象中。

第四步：使用indexwriter对象将document对象写入索引库，此过程进行索引创建。并将索引和document对象写入索引库。

第五步：关闭IndexWriter对象。

2.2创建lucene项目

 

2.3代码实现

public class LuceneFirst {

    //创建索引
    @Test
    public void createIndex() throws Exception {
        //1.创建一个directory对象，指定索引库保存的位置
        //把索引库保存在内存中(不建议这样做)
        //Directory directory = new RAMDirectory();
        //把索引库保存在在磁盘中,指定路径名
        Directory directory = FSDirectory.open(new File("D:\IDEA\IdeaProjects\lucene\temp\index").toPath());
        //2.基于directory对象创建一个indexwriter对象
        IndexWriter indexWriter = new IndexWriter(directory, new IndexWriterConfig());
        //3.读取磁盘上的文件，对应每个文件创建一个文档对象
        File dir = new File("D:\BaiduNetdiskDownload\lucene\02.参考资料\searchsource");
        File[] files = dir.listFiles();
        for (File f : files) {
            //取文件名
            String filename = f.getName();
            //文件路径名
            String filepath = f.getPath();
            //文件内容
            String filecontent = FileUtils.readFileToString(f, "utf-8");
            //文件大小
            long filesize = FileUtils.sizeOf(f);
            //创建Field
            //参数1：域的名称 ，参数2：域的内容 ， 参数3：是否存储
            Field fieldName = new TextField("name", filename, Field.Store.YES);
            //Field fieldPath = new TextField("path",filepath,Field.Store.YES);
            //StoreField仅做存储，其下内容不做分词和索引
            Field fieldPath = new StoredField("path", filepath);
            Field fieldContent = new TextField("content", filecontent, Field.Store.YES);
            //Field fieldSize = new TextField("size", filesize + "", Field.Store.YES);//+""是为了将long类型数据转成字符串
            Field fieldSizeValue = new LongPoint("size",filesize);//LongPoint用作运算,如数据范围查询
            Field fieldSizeStore = new StoredField("size",filesize);
            //创建文档对象
            Document document = new Document();
            //向文档对象中添加域
            document.add(fieldName);
            document.add(fieldPath);
            document.add(fieldContent);
            //document.add(fieldSize);
            document.add(fieldSizeValue);
            document.add(fieldSizeStore);
            //5.把文档对象写入索引库
            indexWriter.addDocument(document);

        }
        //6.关闭索引库
        indexWriter.close();
    }
}

D:\IDEA\IdeaProjects\lucene\temp\index为索引库的路径。

注意：new IndexWriterConfig()里面为空时，默认使用标准分词器 StandardAnalyzer，也可以自定义分析器，如：new IndexWriterConfig(new IKAnalyzer());

创建索引完成后，索引库内出现如下文件：

3.查询索引

3.1实现步骤

第一步：创建一个Directory对象，也就是索引库存放的位置。

第二步：创建一个indexReader对象，需要指定Directory对象。

第三步：创建一个indexsearcher对象，需要指定IndexReader对象

第四步：创建一个TermQuery对象，指定查询的域和查询的关键词。

第五步：执行查询。

第六步：返回查询结果。遍历查询结果并输出。

第七步：关闭IndexReader对象

3.2代码实现

@Test
    public void searchIndex() throws Exception {
        //1.创建一个directory对象，指定索引库的位置
        Directory directory = FSDirectory.open(new File("D:\IDEA\IdeaProjects\lucene\temp\index").toPath());
        //2.创建一个indexReader对象
        IndexReader indexReader = DirectoryReader.open(directory);
        //3.创建一个indexSearcher对象，构造方法中的参数indexReader对象
        IndexSearcher indexSearcher = new IndexSearcher(indexReader);
        //4.创建一个query对象，TermQuery
        //参数1：指定查询的域 参数2：指定要查找的关键词
        //Query query = new TermQuery(new Term("content", "spring"));
        Query query = new TermQuery(new Term("name", "apache")); 
        //5.执行查询，得到一个TopDocs对象
        //参数1：查询对象  参数2：查询结果返回的最大记录数
        TopDocs topDocs = indexSearcher.search(query, 10);
        //6.取查询结果的总记录数
        System.out.println("查询总记录数：" + topDocs.totalHits);
        //7.取文档列表
        ScoreDoc[] scoreDocs = topDocs.scoreDocs;
        //8.打印文档中的 内容
        for (ScoreDoc doc : scoreDocs) {
            //取文档
            int docId = doc.doc;
            //根据id取文档对象
            Document document = indexSearcher.doc(docId);
            System.out.println(document.get("name"));
            System.out.println(document.get("path"));
            System.out.println(document.get("size"));
            //System.out.println(document.get("content"));
            System.out.println("------------------寂寞的分割线---------------");
        }
        //9.关闭indexreader对象
        indexReader.close();
    }

查询结果：

4.分析器

4.1标准分析器的分词效果

    @Test
    public void testTokenStream() throws Exception {
        //1.创建一个analyzer对象，standardAnalyzer对象
        Analyzer analyzer = new StandardAnalyzer();//标准分析器只适用于英文文档的分析
       //2.使用分析器对象的tokenStream方法获得一个tokenStream对象
        TokenStream tokenStream = analyzer.tokenStream("", "The spring framework provides a comprehensive programming and configuration model.");
       //3.向tokenStream对象中设置有一个引用，相当于一个指针
        CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
        //4.调用tokenStream对象的reset方法，如果不调用抛异常
        tokenStream.reset();
        //5.使用while循环遍历tokenStream对象
        while (tokenStream.incrementToken()) {
            System.out.println(charTermAttribute.toString());
        }
        //6.关闭tokenStream对象
        tokenStream.close();
    }

analyzer.tokenStream("", "The spring framework provides a comprehensive programming and configuration model.");

其中第一个参数添加域名，这里我们不添加，第二个参数：标色语句为待分词的内容。

分词效果为：

 4.2IKAnalyzer分析器的分词效果

    @Test
    public void testTokenStream() throws Exception {
        //1.创建一个analyzer对象，standardAnalyzer对象
        //Analyzer analyzer = new StandardAnalyzer();//标准分析器只是用于英文文档的分析
        Analyzer analyzer1 = new IKAnalyzer();//该分析器适用于中文分词
        //2.使用分析器对象的tokenStream方法获得一个tokenStream对象
        //TokenStream tokenStream = analyzer.tokenStream("", "The spring framework provides a comprehensive programming and configuration model.");
        TokenStream tokenStream = analyzer1.tokenStream("","今天奶奶给我买了我最爱吃的喜之郎果冻");
        //3.向tokenStream对象中设置有一个引用，相当于一个指针
        CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
        //4.调用tokenStream对象的reset方法，如果不调用抛异常
        tokenStream.reset();
        //5.使用while循环遍历tokenStream对象
        while (tokenStream.incrementToken()) {
            System.out.println(charTermAttribute.toString());
        }
        //6.关闭tokenStream对象
        tokenStream.close();
    }

注意: IKAnalyzer分析器适用于无BOM 的UTF-8 编码文档。也就是说禁止使用windows记事本编辑扩展词典文件。

分词效果：

如果使用标准分析器对中文进行分词，则会变成：

这样是不便于搜索查询的！

5.索引库的维护

5.1Field域的属性

是否分析：是否对域的内容进行分词处理。前提是我们是否要对域的内容进行查询。

是否索引：将Field分析后的词或整个Field值进行索引，只有索引方可搜索到。

比如：商品名称、商品简介分析后进行索引，订单号、身份证号不用分析但也要索引，这些将来都要作为查询条件。

是否存储：将Field值存储在文档中，存储在文档中的Field才可以从Document中获取

比如：商品名称、订单号，凡是将来要从Document中获取的Field都要存储。

是否存储的标准：是否要将内容展示给用户

 5.2索引库的添加、删除、修改

代码实现：

public class IndexManager {

    private IndexWriter indexWriter;

    @Before
    public void init() throws Exception{
        //创建一个indexWriter对象，需要使用使用IkAnalyzer作为分析器
        indexWriter =
                new IndexWriter(FSDirectory.open(new File("D:\IDEA\IdeaProjects\lucene\temp\index").toPath()),
                        new IndexWriterConfig(new IKAnalyzer()));
    }

    //添加索引
    @Test
    public void addDocument() throws Exception{
        //创建一个document对象
        Document document = new Document();
        //向document对象中添加域
        document.add(new TextField("name","新添加的文件", Field.Store.YES));
        document.add(new TextField("content","新添加的文件内容",Field.Store.NO));
        //不需要创建索引的就使用StoreField存储
        document.add(new StoredField("path","D:\IDEA\IdeaProjects\lucene\temp\index"));
        //把文档写入索引库
        indexWriter.addDocument(document);
        //关闭索引库
        indexWriter.close();
    }


=================================================
    
    //删除索引
    //删除全部索引
    @Test
    public void deleteAllDocument() throws Exception{
        //删除全部文档
        indexWriter.deleteAll();
        //关闭索引库
        indexWriter.close();
    }

    //根据查询条件删除索引
    @Test
    public void deleteDocumentByQuery() throws Exception{
        indexWriter.deleteDocuments(new Term("name","apache"));
        indexWriter.close();
    }


=================================================

    //修改索引库，原理就是先删除后添加
    @Test
    public void updateDocument() throws Exception{
        //创建一个新的文档对象
        Document document = new Document();
        //向文档对象中添加域
        document.add(new TextField("name","更新后的文档",Field.Store.YES));
        document.add(new TextField("name1","更新后的文档1",Field.Store.YES));
        document.add(new TextField("name2","更新后的文档2",Field.Store.YES));
        //更新操作，先删除再添加
        indexWriter.updateDocument(new Term("name","apache"),document);
        //关闭索引库
        indexWriter.close();
    }
}

6.Lucene索引库查询

对要搜索的信息创建Query查询对象，Lucene会根据Query查询对象生成最终的查询语法，类似关系数据库Sql语法一样Lucene也有自己的查询语法，比如：“name:lucene”表示查询Field的name为“lucene”的文档信息。

         可通过两种方法创建查询对象：

         1）使用Lucene提供Query子类

         2）使用QueryParse解析查询表达式

6.1TermQuery

TermQuery，通过项查询，TermQuery不使用分析器所以建议匹配不分词的Field域查询，比如订单号、分类ID号等。

指定要查询的域和要查询的关键词。

在上文3.2代码实现中有用到TermQuery查询关键词：

 6.2数据范围查询 和 使用QueryParser查询

public class SearchIndex {

    private IndexReader indexReader;
    private IndexSearcher indexSearcher;

    @Before
    public void init() throws Exception{
        indexReader = DirectoryReader.open(FSDirectory.open(new File("D:\IDEA\IdeaProjects\lucene\temp\index").toPath()));
        indexSearcher = new IndexSearcher(indexReader);
    }

    //数据范围查询
    @Test
    public void testRangeQuery() throws Exception{
        //创建一个Query对象，当Field的类为LongPoint时可用于数据范围查询，上文2.3代码实现中就创建了LongPoint类的Field
        Query query = LongPoint.newRangeQuery("size",0,100);
        printResult(query);
    }

    private void printResult(Query query) throws Exception{
        //执行查询
        TopDocs topDocs = indexSearcher.search(query,10);
        System.out.println("总记录数："+topDocs.totalHits);
        ScoreDoc[] scoreDocs = topDocs.scoreDocs;
        for (ScoreDoc doc:scoreDocs){
            //取文档id
            int docId = doc.doc;
            //根据id取文档对象
            Document document = indexSearcher.doc(docId);
            System.out.println(document.get("name"));
            System.out.println(document.get("path"));
            System.out.println(document.get("size"));
            System.out.println("----------------分割线---------------");
        }
        indexReader.close();
    }

    //使用QueryParser查询    
    @Test
    public void testQueryParser() throws Exception{
        //创建一个queryParser对象，两个参数
        //参数1：设置默认搜索的域  参数2：分析器对象
        QueryParser queryParser = new QueryParser("name",new IKAnalyzer());
        //使用queryParser对象创建一个query对象
        Query query = queryParser.parse("lucene是一个Java开发的全文搜索工具包");
        //执行查询
        printResult(query);
    }
}

使用queryParser时需要注意：

　　通过QueryParser也可以创建Query，QueryParser提供一个Parse方法，此方法可以直接根据查询语法来查询。Query对象执行的查询语法可通过System.out.println(query);查询。

需要使用到分析器。建议创建索引时使用的分析器和查询索引时使用的分析器要一致。