用Lucene4.5对中文文本建立索引

　　这里需要完成一个能对txt文本建立索引，并能完成检索查询。完成这个功能，使用的是Lucene4.5，同时使用其自带的中文分析器。

　　准备工作是在一个文件夹里面建一些txt文件，这是我的文件结构：

　　

　　首先要对这些文本建立索引，代码如下

package com.test;

import java.io.*;
import java.util.ArrayList;
import java.util.List;
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.document.*;

import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;

public class Indexer {

    /**
     * @param args
     */
    
    private static String fileInput = "C:\Users\Press-Lab\Desktop\五月天歌词文件"; 
    //此处是索引存放的路径
    private static String indexPath = "C:\Users\Press-Lab\Desktop\index"; 
    
    public static void main(String[] args) throws Exception {
        // TODO Auto-generated method stub
        //此处去处txt的内容和路径，装入list中，方便下一步放入document中
        File[] files = new File(fileInput).listFiles();
        List<FileBag> list = new ArrayList<FileBag>();
        for(File f : files){
            BufferedReader br = new BufferedReader(new FileReader(f));
            StringBuffer sb = new StringBuffer(); 
            String line = null;
            while((line = br.readLine()) != null){
                sb.append(line);
            }
            br.close();
            FileBag fileBag = new FileBag();
            fileBag.setContent(sb.toString());
            fileBag.setPath(f.getAbsolutePath());
            list.add(fileBag);
        }
        
        //此处为建立索引
        Directory dir = FSDirectory.open(new File(indexPath));
        //此处使用自带的中文分析器
        SmartChineseAnalyzer analyzer = new SmartChineseAnalyzer(Version.LUCENE_45);
        IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_45, analyzer);
        IndexWriter writer = new IndexWriter(dir, config);
        
        //对list中的每一个对象，分别连击索引
        for(FileBag fileBag : list){
            Document doc = new Document();
            doc.add(new Field("contents", fileBag.getContent(), Field.Store.YES,Field.Index.ANALYZED));
            doc.add(new StringField("path", fileBag.getPath(), Field.Store.YES));
            writer.addDocument(doc);
        }
        
        writer.close();
        
    }

}
//建立一个与txt对应的domain对象
class FileBag{
    private String content;
    private String path;
    public String getContent() {
        return content;
    }
    public void setContent(String content) {
        this.content = content;
    }
    public String getPath() {
        return path;
    }
    public void setPath(String path) {
        this.path = path;
    }
    
    
}

　　在这段代码中，我对文本进行了存储，一般情况下是无需存储的，这里为为了方便查看结果才进行存储。

　　特别注意代码的54行，如果使用Lucene4.5推荐的TextField，这无法建立索引。不知道这是个什么原因，有人解决过这个问题的麻烦告知下。

　　下面是进行检索的代码：

package com.test;

import java.io.*;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.Term;


import org.apache.lucene.queryparser.classic.QueryParser;
import org.apache.lucene.search.IndexSearcher;

import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TermQuery;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;

import com.dong.Constants;

public class Seacher {

    /**
     * @param args
     */
    private static String indexPath = "C:\Users\Press-Lab\Desktop\index"; 
    public static void main(String[] args) throws Exception {
        // TODO Auto-generated method stub
        
           Directory dir=FSDirectory.open(new File(indexPath)); 
           IndexReader reader=DirectoryReader.open(dir);  
           IndexSearcher searcher=new IndexSearcher(reader);  
           //此处也需要是用中文分析器
           SmartChineseAnalyzer analyzer = new SmartChineseAnalyzer(Version.LUCENE_45);
           QueryParser parser = new QueryParser(Version.LUCENE_45, "contents", analyzer);
           Query query = parser.parse("如果") ; 
           
           TopDocs topdocs=searcher.search(query, 5);  
           ScoreDoc[] scoreDocs=topdocs.scoreDocs;  
           
           System.out.println("共有数据:" +  topdocs.scoreDocs.length + "条"); 
           for(int i=0; i < scoreDocs.length; i++) {  
                int doc = scoreDocs[i].doc;  
                Document document = searcher.doc(doc);  
                System.out.println("第" + i + "条文本的路径是:  " + document.get("path"));  
                System.out.println("第" + i + "条文本内容是:   " + document.get("contents"));  
                
            }  
            reader.close();  
    }  

        
    

}

　　这里需要注意的是，查询时候也需要中文分析器。

　　下一篇要做的是，实现索引的分页查询。