Lucene.Net简介:
Lucene.Net是由Java版本的Lucene(卢思银)移植过来的,所有的类、方法都几乎和Lucene一模一样,因此使用时参考Lucene即可。
Lucene.Net只是一个全文检索开发包,不是一个成型的搜索引擎,它的功能就是把数据扔给Lucene.Net,查询数据的时候从Lucene.Net中查询数据,可以看做是提供了全文检索功能的数据库。Lucene.Net不管文本数据怎么来的。用户可以基于Lucene.Net开发满足自己需求的搜索引擎。Lucene.Net只能对文本信息进行检索。如果不是文本信息,要转换为文本信息。
Lucene.Net内置一元分词算法,例:“北京欢迎你”,分词之后“北” ”京” 欢” ”迎 ” ”你”。
明显不适用中文分词,所以这里需要用到一些中文的分词算法:庖丁解牛,盘古分词
下面介绍Lucene.Net+盘古分词如何在项目中应用
第一步:准备相关资料
盘古分词: 链接:https://pan.baidu.com/s/1kUBe95X 密码:mrqi
Lucene.Net :链接:https://pan.baidu.com/s/1eRSjLJ0 密码:z3zs
第二步:添加
1、将PanGu_Release_V2.3.1.0文件下的Dictionaries添加到项目根路径下并改名为Dict,添加PanGu.dll,PanGu.Lucene.Analyzer的引用
2、把Dict目录下的所有文件右击“属性”->“复制到输出目录”设定为“如果较新则赋值”,这样每次生成的时候都会自动把文件拷贝到“binDebug”下
3、添加Lucene.dll的引用
第三步:
1 //对输入的搜索条件进行分词 2 public static string[] PanGuSplitWord(string str) 3 { 4 List<string> list = new List<string>(); 5 Analyzer analyzer = new PanGuAnalyzer(); 6 TokenStream tokenStream = analyzer.TokenStream("", new StringReader(str)); 7 Lucene.Net.Analysis.Token token = null; 8 while ((token = tokenStream.Next()) != null) 9 { 10 list.Add(token.TermText()); 11 } 12 return list.ToArray(); 13 } 14 15 16 // /创建HTMLFormatter,参数为高亮单词的前后缀 17 public static string CreateHightLight(string keywords, string Content) 18 { 19 PanGu.HighLight.SimpleHTMLFormatter simpleHTMLFormatter = 20 new PanGu.HighLight.SimpleHTMLFormatter("<font color="red">", "</font>"); 21 //创建Highlighter ,输入HTMLFormatter 和盘古分词对象Semgent 22 PanGu.HighLight.Highlighter highlighter = 23 new PanGu.HighLight.Highlighter(simpleHTMLFormatter, 24 new Segment()); 25 //设置每个摘要段的字符数 26 highlighter.FragmentSize = 150; 27 //获取最匹配的摘要段 28 return highlighter.GetBestFragment(keywords, Content); 29 30 }
1 public enum LuceneEnumType 2 { 3 Add,//向添加 4 Delete//删除 5 } 6 7 8 private void WriteSearchContent() 9 { 10 string indexPath = @"C:lucenedir";//注意和磁盘上文件夹的大小写一致,否则会报错。将创建的分词内容放在该目录下。 11 FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NativeFSLockFactory());//指定索引文件(打开索引目录) FS指的是就是FileSystem 12 bool isUpdate = IndexReader.IndexExists(directory);//IndexReader:对索引进行读取的类。该语句的作用:判断索引库文件夹是否存在以及索引特征文件是否存在。 13 if (isUpdate) 14 { 15 //同时只能有一段代码对索引库进行写操作。当使用IndexWriter打开directory时会自动对索引库文件上锁。 16 //如果索引目录被锁定(比如索引过程中程序异常退出),则首先解锁(提示一下:如果我现在正在写着已经加锁了,但是还没有写完,这时候又来一个请求,那么不就解锁了吗?这个问题后面会解决) 17 if (IndexWriter.IsLocked(directory)) 18 { 19 IndexWriter.Unlock(directory); 20 } 21 } 22 IndexWriter writer = new IndexWriter(directory, new PanGuAnalyzer(), !isUpdate, Lucene.Net.Index.IndexWriter.MaxFieldLength.UNLIMITED);//向索引库中写索引。这时在这里加锁。 23 while (queue.Count > 0) 24 { 25 IndexContent indexContent =queue.Dequeue();//出队 26 writer.DeleteDocuments(new Term("id", indexContent.Id.ToString())); 27 if (indexContent.LuceneEnumType == LuceneEnumType.Delete) 28 { 29 continue; 30 } 31 Document document = new Document();//表示一篇文档。 32 33 //Field.Store.YES:表示是否存储原值。只有当Field.Store.YES在后面才能用doc.Get("number")取出值来.Field.Index. NOT_ANALYZED:不进行分词保存 34 document.Add(new Field("id", indexContent.Id.ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED)); 35 36 //Field.Index. ANALYZED:进行分词保存:也就是要进行全文的字段要设置分词 保存(因为要进行模糊查询) 37 38 //Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS:不仅保存分词还保存分词的距离。 39 document.Add(new Field("title", indexContent.Title, Field.Store.YES, Field.Index.ANALYZED, Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS)); 40 41 document.Add(new Field("content", indexContent.Content, Field.Store.YES, Field.Index.ANALYZED, Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS)); 42 writer.AddDocument(document); 43 } 44 45 writer.Close();//会自动解锁。 46 directory.Close();//不要忘了Close,否则索引结果搜不到 47 }
1 /// <summary> 2 /// 搜索 3 /// </summary> 4 public List<SearchResultViewModel> SearchBookContent() 5 { 6 string indexPath = @"C:lucenedir"; 7 string kw = Request["txtSearchContent"]; 8 string[] keywords = Common.WebCommon.PanGuSplitWord(kw); 9 FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NoLockFactory()); 10 IndexReader reader = IndexReader.Open(directory, true); 11 IndexSearcher searcher = new IndexSearcher(reader); 12 //搜索条件 13 PhraseQuery query = new PhraseQuery(); 14 foreach (string word in keywords)//先用空格,让用户去分词,空格分隔的就是词“计算机 专业” 15 { 16 query.Add(new Term("content", word)); 17 } 18 //query.Add(new Term("body","语言"));--可以添加查询条件,两者是add关系.顺序没有关系. 19 // query.Add(new Term("body", "大学生")); 20 // query.Add(new Term("content", kw));//body中含有kw的文章 21 query.SetSlop(100);//多个查询条件的词之间的最大距离.在文章中相隔太远 也就无意义.(例如 “大学生”这个查询条件和"简历"这个查询条件之间如果间隔的词太多也就没有意义了。) 22 //TopScoreDocCollector是盛放查询结果的容器 23 TopScoreDocCollector collector = TopScoreDocCollector.create(1000, true); 24 searcher.Search(query, null, collector);//根据query查询条件进行查询,查询结果放入collector容器 25 ScoreDoc[] docs = collector.TopDocs(0, collector.GetTotalHits()).scoreDocs;//得到所有查询结果中的文档,GetTotalHits():表示总条数 TopDocs(300, 20);//表示得到300(从300开始),到320(结束)的文档内容. 26 //可以用来实现分页功能 27 List<SearchResultViewModel> searchResultList = new List<SearchResultViewModel>(); 28 for (int i = 0; i < docs.Length; i++) 29 { 30 // 31 //搜索ScoreDoc[]只能获得文档的id,这样不会把查询结果的Document一次性加载到内存中。降低了内存压力,需要获得文档的详细内容的时候通过searcher.Doc来根据文档id来获得文档的详细内容对象Document. 32 int docId = docs[i].doc;//得到查询结果文档的id(Lucene内部分配的id) 33 Document doc = searcher.Doc(docId);//找到文档id对应的文档详细信息 34 SearchResultViewModel viewModel = new SearchResultViewModel(); 35 viewModel.Id = int.Parse(doc.Get("id")); 36 viewModel.Title = doc.Get("title"); 37 viewModel.Url = "/Book/ShowDetail/?id=" + viewModel.Id; 38 viewModel.Content =Common.WebCommon.CreateHightLight(kw, doc.Get("content")); 39 searchResultList.Add(viewModel); 40 } 41 42 SearchDetails searchDetail = new SearchDetails(); 43 searchDetail.KeyWords = kw; 44 searchDetail.Id = Guid.NewGuid(); 45 searchDetail.SearchDateTime = DateTime.Now; 46 searchDetailService.AddEntity(searchDetail); 47 return searchResultList; 48 49 }
public class IndexContent { public string Id { get; set; } public string Title { get; set; } public string Content { get; set; } public LuceneEnumType LuceneEnumType { get; set; } } public enum DeleteEnumType { /// <summary> /// 正常显示 /// </summary> Normal=0, /// <summary> /// 逻辑删除 /// </summary> LogicDelete=1, /// <summary> /// 物理删除 /// </summary> PhyicDelete=2 }
1 public sealed class IndexManager 2 { 3 private static readonly IndexManager indexManager = new IndexManager(); 4 private IndexManager() 5 { 6 } 7 public static IndexManager GetInstance() 8 { 9 return indexManager; 10 } 11 Queue<IndexContent> queue = new Queue<IndexContent>(); 12 /// <summary> 13 /// 调用该方法,向队列中添加数据 14 /// </summary> 15 /// <param name="id"></param> 16 /// <param name="title"></param> 17 /// <param name="content"></param> 18 public void AddOrEditQueue(string id,string title,string content) 19 { 20 IndexContent indexContent = new IndexContent(); 21 indexContent.Content = content; 22 indexContent.Id = id; 23 indexContent.Title = title; 24 indexContent.LuceneEnumType = LuceneEnumType.Add; 25 queue.Enqueue(indexContent); 26 } 27 /// <summary> 28 /// 删除 29 /// </summary> 30 /// <param name="id"></param> 31 public void DeleteQueue(string id) 32 { 33 IndexContent indexContent = new IndexContent(); 34 indexContent.Id = id; 35 indexContent.LuceneEnumType = LuceneEnumType.Delete; 36 queue.Enqueue(indexContent); 37 } 38 39 /// <summary> 40 /// 创建线程 41 /// </summary> 42 public void CreateThread() 43 { 44 Thread myThread = new Thread(CreateSearchIndex); 45 myThread.IsBackground = true; 46 myThread.Start(); 47 } 48 }
第四步:
在程序开始时
IndexManager.GetInstance().CreateThread();//开启线程,扫描队列获取信息写到Lucene.Net中。