一个简单的文本查询程序

一 需求：

程序读取用户指定的任意文本文件，然后允许用户从该文件中查找单词。查询的结果是该程序出现的次数，并且列出程序所在的行数。如果单词在行中出现多次，则程序将只显示该行一次。行号按升序显示。

二 查询程序的设计

1. 它必须允许用户指明要处理的文件名字。程序将存储该文件的内容，以便输出每个单词所在的原始行。

2. 它必须将每一行分解为各个单词，并且记录每个单词所在的所有行。在输出行号时，保证升序输出，并且不重复。

3. 对特定单词的查询将返回出现单词的所有行的行号。

4. 输出某单词所在的行文本时，程序必须能根据给定的行号从输入文件中获取相应地行。

数据结构

设计TextQuery类实现

1. 使用一个vector<string>类型的对象存储整个输入文件的副本。输入文件的每一行是该vector对象的一个元素。因而在输出某一行时，只需以下标获取该行所在的元素即可。

2. 将每个单词所在的行号存储在一个set容器对象中。使用set就可确保每行只有一个条目，而且条目将自动升序排列。(set里面每个值都不重复)

3. 使用一个map容器将每个单词与一个set容器对象关联起来，该set容器对象记录该单词的所在的行号。

故，我们定义的TextQuery类将有两个数据成员：存储输入文件的vector对象以及一个map容器对象，改容器关联每个输入的单词和记录单词所在行的set容器对象

操作

查询函数需返回存储一组行号的set对象

查询的过程很简单：使用下标访问map对象获取关联的set对象即可。唯一的问题是如何返回找到set对象。安全的设计方案是返回该set的副本。但是意味着要复制set中的每个元素。如果处理的是一个相当大的文件，则代码十分严重。可行的方法是：返回一个pair对象，存储一对指向set中元素的迭代器；返回set对象的const引用。 简单起见，我们先返回副本的方法

类应该包括以下三个public函数：

read_file:形参是一个ifstream&类型对象。每次从文件中读入一行，并将它保存在vector容器中，输入完毕后，read_file将关联每个单词及其所在行号的map容器。

run_query成员函数，其形参为一个string类型对象，返回一个set容器，该set容器包含出现该string对象的所有行的行号

text_line成员函数，其形参为一个行号，返回输入文本中该行号文本对应的文本行

无论是run_query还是text_line都不会修改调用此函数的对象，故可定义为const函数。

为实现read_file功能，定义两个private函数来读取输入文本和创建map容器

store_file函数读入文件，并将文件内容存储在vector容器

build_map函数将每一行分解为各个单词，创建map容器对象，同时记录每个单词出现行号。

TextQuery类的使用

其中，open_file()和make_plural()很简单，这里不细讲，代码中有。

类的成员函数的实现

首先是读入需要查询的文件。使用string和vector容器提供的操作，可以很简单地实现

每次存储文件的一行内容将其添加到lines_of_text的vector容器中

建立单词map容器

for 循环以每次一行遍历lines_of_text，然后将line(istringstream对象)与当前行绑定起来，然后使用istringstream的输入操作符读入行中的每个单词，至此能够将行中单词读取出来

程序最后如果单词不存在则插入该单词，初始化set并且将该行号插入到set，由于set容器不重复故当一行同一单词多个时set只记录一个行号，如果单词已经存在，就指更新set内的行号

支持查询

run_query函数带有指向const string类型对象的引用参数，并以这个参数作为下标来访问word_map对象。假如成功找到string则返回这个string的set对象，否则返回一个空的set对象。

run_query()返回值的使用：

运行run_query函数后，获得一组所查找的单词出现的行号。除了输出该单词的出现次数，还需要输出该单词出现的每一行

PS：源代码中还有个别和算法代码关系不大的函数，没做分析，这部分代码很简单，很容易看懂。

#include "TextQuery.h"
#include <string>
#include <vector>
#include <map>
#include <set>
#include <iostream>
#include <fstream>
#include <cctype>
#include <cstring>
#include <cstdlib>

using std::set;
using std::string;
using std::map;
using std::vector;
using std::cerr;
using std::cout;
using std::cin;
using std::ifstream;
using std::endl;

string make_plural(size_t, const string&, const string&);
ifstream& open_file(ifstream&, const string&);
void print_results(const set<TextQuery::line_no>& locs, 
                   const string& sought, const TextQuery &file)
{
    // if the word was found, then print count and all occurrences
    typedef set<TextQuery::line_no> line_nums; 
    line_nums::size_type size = locs.size();
    cout << "
" << sought << " occurs "
         << size << " "
         << make_plural(size, "time", "s") << endl;

    // print each line in which the word appeared
    line_nums::const_iterator it = locs.begin();
    for ( ; it != locs.end(); ++it) {
        cout << "	(line "
             // don't confound user with text lines starting at 0
             << (*it) + 1 << ") "
             << file.text_line(*it) << endl;
    }
}

// program takes single argument specifying the file to query
int main(int argc, char **argv)
{
    // open the file from which user will query words
    ifstream infile;
    if (argc < 2 || !open_file(infile, argv[1])) {
        cerr << "No input file!" << endl;
        return EXIT_FAILURE;
    }

    TextQuery tq;
    tq.read_file(infile);  // builds query map

    // iterate with the user: prompt for a word to find and print results
    // loop indefinitely; the loop exit is inside the while
    while (true) {
        cout << "enter word to look for, or q to quit: ";
        string s;
        cin >> s;

        // stop if hit eof on input or a 'q' is entered
        if (!cin || s == "q") break;

        // get the set of line numbers on which this word appears
        set<TextQuery::line_no> locs = tq.run_query(s);

        // print count and all occurrences, if any
        print_results(locs, s, tq);
     }
    return 0;
}

#ifndef TEXTQUERY_H
#define TEXTQUERY_H
#include <string>
#include <vector>
#include <map>
#include <set>
#include <iostream>
#include <fstream>
#include <cctype>
#include <cstring>

class TextQuery {
    // as before
public:
    // typedef to make declarations easier
    typedef std::string::size_type str_size;
    typedef std::vector<std::string>::size_type line_no;

    /* interface:
     *    read_file builds internal data structures for the given file
     *    run_query finds the given word and returns set of lines on which it appears
     *    text_line returns a requested line from the input file
    */
    void read_file(std::ifstream &is) 
               { store_file(is); build_map(); }
    std::set<line_no> run_query(const std::string&) const; 
    std::string text_line(line_no) const;
    str_size size() const { return lines_of_text.size(); }
    void display_map();        // debugging aid: print the map

private:
    // utility functions used by read_file
    void store_file(std::ifstream&); // store input file
    void build_map(); // associated each word with a set of line numbers

    // remember the whole input file
    std::vector<std::string> lines_of_text; 

    // map word to set of the lines on which it occurs
    std::map< std::string, std::set<line_no> > word_map;  
    // characters that constitute whitespace
    static std::string whitespace_chars;     
    // canonicalizes text: removes punctuation and makes everything lower case
    static std::string cleanup_str(const std::string&);
};
#endif

#include "TextQuery.h"
#include <sstream>
#include <string>
#include <vector>
#include <map>
#include <set>
#include <iostream>
#include <fstream>
#include <cctype>
#include <cstring>
#include <stdexcept>

using std::istringstream;
using std::set;
using std::string;
using std::getline;
using std::map;
using std::vector;
using std::cerr;
using std::cout;
using std::cin;
using std::ifstream;
using std::endl;
using std::ispunct;
using std::tolower;
using std::strlen;
using std::out_of_range;

string TextQuery::text_line(line_no line) const
{
    if (line < lines_of_text.size())
        return lines_of_text[line];
    throw std::out_of_range("line number out of range");
}

// read input file: store each line as element in lines_of_text 
void TextQuery::store_file(ifstream &is)
{
    string textline;
    while (getline(is, textline))
       lines_of_text.push_back(textline);
}

// v: vertical tab; f: formfeed; 
: carriage return are
// treated as whitespace characters along with space, tab and newline
string TextQuery::whitespace_chars(" 	
v
f");

// finds whitespace-separated words in the input vector
// and puts the word in word_map along with the line number
void TextQuery::build_map()
{
    // process each line from the input vector
    for (line_no line_num = 0; 
                 line_num != lines_of_text.size();
                 ++line_num)
    {
        // we'll use line to read the text a word at a time
        istringstream line(lines_of_text[line_num]);
        string word;
        while (line >> word)
            // add this line number to the set;
            // subscript will add word to the map if it's not already there
            word_map[cleanup_str(word)].insert(line_num);
    }
}

set<TextQuery::line_no>
TextQuery::run_query(const string &query_word) const
{
    // Note: must use find and not subscript the map directly
    // to avoid adding words to word_map!
    map<string, set<line_no> >::const_iterator 
                          loc = word_map.find(cleanup_str(query_word));
    if (loc == word_map.end()) 
        return set<line_no>();  // not found, return empty set
    else
        // fetch and return set of line numbers for this word
        return loc->second;
}

void TextQuery::display_map()
{
    map< string, set<line_no> >::iterator iter = word_map.begin(),
                                       iter_end = word_map.end();

    // for each word in the map
    for ( ; iter != iter_end; ++iter) {
        cout << "word: " << iter->first << " {";

        // fetch location vector as a const reference to avoid copying it
        const set<line_no> &text_locs = iter->second;
        set<line_no>::const_iterator loc_iter = text_locs.begin(),
                                     loc_iter_end = text_locs.end();

        // print all line numbers for this word
        while (loc_iter != loc_iter_end)
        {
            cout << *loc_iter;

            if (++loc_iter != loc_iter_end)
                 cout << ", ";

         }

         cout << "}
";  // end list of output this word
    }
    cout << endl;  // finished printing entire map
}

string TextQuery::cleanup_str(const string &word)
{
    string ret;
    for (string::const_iterator it = word.begin(); it != word.end(); ++it) {
        if (!ispunct(*it))
            ret += tolower(*it);
    }
    return ret;
}