Hack in Lucene.Net之为什么无法在搜索时统计分类下相关结果数或者实现Group By效果

这几天一直在思考如果Hack in Lucene.Net就能实现在搜索时统计分类下相关结果数或者实现Group By效果，答案是，如果依靠IndexSearcer类注入，那么是不可能实现这个效果的。从大的方面——索引结构——上面说更加容易让人理解，就先从这里说起。

Lucene的索引结构是分块的，这个在很多地方有这样的资料。为了更加方便理解，这里建立一个简单的索引文件。

static void Main(string[] args) {
    IndexWriter writer = new IndexWriter("d:\\index", new StandardAnalyzer(), true);

    writer.AddDocument(new IndexDocumentExtension.DocmentField[] { 
        new IndexDocumentExtension.DocmentField("ID","1"),
        new IndexDocumentExtension.DocmentField("Title","test record first",Field.Store.NO,Field.Index.TOKENIZED,0.0f),
        new IndexDocumentExtension.DocmentField("Category","1")
    });
    writer.AddDocument(new IndexDocumentExtension.DocmentField[] { 
        new IndexDocumentExtension.DocmentField("ID","2"),
        new IndexDocumentExtension.DocmentField("Title","test record second"),
        new IndexDocumentExtension.DocmentField("Category","1")
    });
    writer.AddDocument(new IndexDocumentExtension.DocmentField[] { 
        new IndexDocumentExtension.DocmentField("ID","3"),
        new IndexDocumentExtension.DocmentField("Title","test record third"),
        new IndexDocumentExtension.DocmentField("Category","2")
    });

    writer.Close();
}

public static class IndexDocumentExtension {
    public static void AddDocument(this IndexWriter writer, DocmentField[] fields) {
        Document doc = new Document();
        foreach (DocmentField field in fields) {
            doc.Add(new Field(field.Key, field.Value, field.Store, field.Index));
            if (field.Boost != 1.0f)
                doc.GetField(field.Key).SetBoost(field.Boost);
        }
        writer.AddDocument(doc);
    }

    public class DocmentField {
        public DocmentField(string key, string value)
            : this(key, value, Field.Store.YES, Field.Index.TOKENIZED, 1.0f) {
        }

        public DocmentField(string key, string value, Field.Store store, Field.Index index, float boost) {
            this.Key = key;
            this.Value = value;
            this.Store = store;
            this.Index = index;
            this.Boost = boost;
        }

        public string Key { get; set; }
        public string Value { get; set; }
        public Field.Store Store { get; set; }
        public Field.Index Index { get; set; }
        public float Boost { get; set; }
    }
}

由以上代码在d盘的index目录创建了一份索引，包含了3个文档，每个文档有3个字段，除了第一份文档不存储数据外，其它两份都存储，并且进行了分词的操作。用记事本打开cfs文件可以看到图1.1的效果的乱码文件，上面作了简单的说明。PS:不会用PS，专门装了下FW，汗～～～

图1.1

图1.1只标了Title字段索引后的效果。但从这里就可以看出，在搜索过程中，用Analyzer对搜索文本进行分词得到Term后，与这里的项索引进行对比的时候是拿不到文档的。但是，要实现按分类统计结果数或者实现Group By的效果，需要知道文档其它字段的信息。因此，入侵内部循环完成相应的目的似乎不太可能了。使用下面的代码可以从逻辑结构上更加清晰地看到结果。调用的时候，使用printSegment("_u"); 注意，我的cfs文件的文件名是_u.cfs，你的可能会不一样。省略后缀，采用前面的部分。

public static void printSegment(String segment) {
    Lucene.Net.Store.Directory directory = FSDirectory.GetDirectory("d:\\index", false);
    SegmentReader segmentReader = SegmentReader.Get(new SegmentInfo(segment, 3, directory,true,true)); //new SegmentInfo(segment, 1, directory)
    //display document.
    for (int i = 0; i < segmentReader.NumDocs(); i++)
        Console.WriteLine(segmentReader.Document(i).ToString());
    TermEnum termEnum = segmentReader.Terms();//此处实际为SegmentTermEnum
    //display term and term positions,termDocs
    while (termEnum.Next()) {
        Console.WriteLine(termEnum.Term().ToString());
        Console.WriteLine(" document.requency=" + termEnum.DocFreq());
        TermPositions termPositions = segmentReader.TermPositions(termEnum.Term());
        int i = 0;
        while (termPositions.Next()) {
            Console.WriteLine((i++) + "->" + TermPositionsToString(termPositions));
        }
        TermDocs termDocs = segmentReader.TermDocs(termEnum.Term());//实际为segmentDocs
        while (termDocs.Next()) {
            Console.WriteLine((i++) + "->" + TermDocsToString(termDocs));
        }
    }
    //display field info
    FieldInfos fieldInfos = segmentReader.FieldInfos();
    FieldInfo pathFieldInfo = fieldInfos.FieldInfo("ID");
    FieldInfo modifiedFieldInfo = fieldInfos.FieldInfo("Category");
    FieldInfo contentsFieldInfo = fieldInfos.FieldInfo("Title");
    Console.WriteLine(pathFieldInfo);
    Console.WriteLine(modifiedFieldInfo);
    Console.WriteLine(contentsFieldInfo);
    //display TermFreqVector
    for (int i = 0; i < segmentReader.NumDocs(); i++) {
        //对contents的token之后的term存于了TermFreqVector
        TermFreqVector termFreqVector = segmentReader.GetTermFreqVector(i, "Title");
        Console.WriteLine(termFreqVector);
    }
}

public static string TermPositionsToString(TermPositions termPositions) {
    string pos = string.Empty;
    for (int i = 0; i < termPositions.Freq(); i++) {
        pos += termPositions.NextPosition() + ",";
    }
    pos = pos.Remove(pos.Length - 1, 1);
    return string.Format("<doc,TermFrequency,Pos>:< doc={0}, TermFrequency={1} Pos={2}>", termPositions.Doc(), termPositions.Freq(), pos);
}

public static string TermDocsToString(TermDocs doc) {
    return string.Format("<docNumber,freq>=<{0},{1}>", doc.Doc(), doc.Freq());
}

这里截取了一个输出图。

图1.2

另外从代码上看，也不太可能实现。完成索引的对比最终会在Term类的CompareTo方法完成。不详细介绍，给出调用关系的堆栈信息，可以看出大概。

Lucene.Net.Index.Term.CompareTo(Lucene.Net.Index.Term) 行 122
Lucene.Net.Index.TermInfosReader.GetIndexOffset(Lucene.Net.Index.Term) 行 202
Lucene.Net.Index.TermInfosReader.Get(Lucene.Net.Index.Term) 行 236
Lucene.Net.Index.SegmentReader.DocFreq(Lucene.Net.Index.Term) 行 792
Lucene.Net.Search.IndexSearcher.DocFreq(Lucene.Net.Index.Term) 行 126
Lucene.Net.Search.Similarity.Idf(Lucene.Net.Index.Term, Lucene.Net.Search.Searcher) 行 484
Lucene.Net.Search.TermQuery.TermWeight.TermWeight(Lucene.Net.Search.TermQuery, Lucene.Net.Search.Searcher) 行 62
Lucene.Net.Search.TermQuery.CreateWeight(Lucene.Net.Search.Searcher) 行 173
Lucene.Net.Search.Query.Weight(Lucene.Net.Search.Searcher) 行 102
Lucene.Net.Search.Hits.Hits(Lucene.Net.Search.Searcher, Lucene.Net.Search.Query, Lucene.Net.Search.Filter) 行 63
Lucene.Net.Search.Searcher.Search(Lucene.Net.Search.Query, Lucene.Net.Search.Filter) 行 57
Lucene.Net.Search.Searcher.Search(Lucene.Net.Search.Query) 行 48
TestLucene.Program.Main(string[]) 行 40
[外部代码] 

在写这篇文章的时候，有了另外一个思路，但是比较复杂，还没考虑好，要是可以成功就可以比较好地解决这个问题了。目前能实现这两种效果的办法还是要在TopDocCollector类的Collect处注入代码。