【tips】【词频统计】中可能用到的资源，以C++为例

　　前言

　　我不知道C#什么情况，不过C++里面，什么参数都不传时，argc=1，argv里面是当前程序名。当你传入dir时，argc=2，当你传入-e dir时，argc=3。

　　这个文章十分适合有一点C语言基础，然后想自己独立完成这个作业的童鞋。预计只有一点点C语言基础的童鞋只需要5个小时左右就能搞定~

　　如果有帮助请点赞。。还有哦。。blog里肯定不能给出代码的是吧，blog里面不能！！！~

　　分析词频统计这个题目，主要需要实现3个部分：

1. 递归的查找一个文件夹下面符合规则的文件。
2. 对于每一个合法文件，进行读入，按照“单词规则”进行词的划分。
3. 对于所有的词进行统计，排序，输出。

　　这肯定不会给出源码。但是肯定对C语言基础的童鞋独立完成作业有很大的帮助！

　　文件读入

　　这里给出一个简单的方法：

　　如果我们知道每个合法文件的绝对路径，就可以依次打开文件进行读取（用C的fopen或者C++的ifstream）。关键是如何知道一个文件夹下面所有的文件。如果你会使用CMD，就会知道在windows环境下dir这个指令和列出文件目录有关。通过查看dir的帮助文档，发现用如下命令可以递归的列出一个文件夹下面所有文件：

dir [dictionary] /S /B > FileDir.tmp

　　并且cmd支持正则表达式，所以可以用*.txt等直接获得合法的文件。后面的大于号表示将输出保存到当前目录下面的FilrDir.txt文件中：

　　于是我们就获得了所有需要统计的文件的绝对路径。这些信息保存在当前目录下的一个tmp文件中（其实就是一个文本文件）。关键是怎么在C++里面执行这个指令。stdlib.h里面有一个函数叫system(char* userCmd)，表示在cmd里面执行userCmd命令。其中userCmd是一个字符串。所以我们可以在程序里面用system()函数执行那句命令，然后得到tmp文件。统计的时候，只需要把地址依次读出，然后打开那个地址指向的文件。统计词频就可以。好吧。。看来这里有很多问题。。。

　　显然在你直接使用这个命令的时候不会出现任何问题。

system(argv[argc-1]);

　　但在程序里面测试实际地址的时候，竟然有人写了如下语句，然后还一直埋怨说调试过不了：

char str[100]="D:
.txt";
system(str);

　　我不想用咆哮体，但。。。但忍不住啊！！！你输出回车的时候用的是什么啊？不是printf(" ");吗？难道就木有发现是个转意字符吗？正确的写法是D:\Dir好不好啊！！！

　　

　　单词划分 这个用不用C++特性无所谓，唯一需要的是细心，不要漏掉规则。

 

　　词频统计

　　如果说，让你统计有n个100以内的数字，每个数字出现的次数。这个很简单，你肯定会开一个长度101的数组arr，然后每当k出现一次，arr[k]++。但现在是统计单词出现次数。C++里面你可以是用一个东西叫做map（在map头文件中）。用map可以实现一个“数组” arr，这个数组的下表就是单词，保存的内容就是单词出现的次数。比如有一个单词叫buaa，那么通过map定义的“数组”，你可以实现arr["buaa"]++；这个操作。这个“数组”叫做map容器，可以当数组一样使用。定义一个map容器很简单：map的用法建议参考C++ primer。

map<string,int> wordMap;

　　还有一个问题是怎么样保存应该输出哪个单词，在这里我是用了另一个map<string, string>保存的。就是所有的单词全换成小写，作为下标。对于某个单词输出的时候，输出的值是该单词在第二个map对应的单词，以及第一个map里对应的次数。

　　排序输出

　　在这里你可能需要先了解vector头文件中的vector，utility头文件中的pair，以及刚才提到的map。这两个数据结构都在C++primer中有详细介绍，分别在P78，P306，P309。如果你不了解这3个东西，下面一段话很可能看不懂。不过没有关系，你都有整个map容器了，大不了自己写一堆代码，把map的值全遍历到一个自己的数据结构里面，然后排个序输出。下面的方法只是讲用C++的库函数省了写过多代码。

　　C++里面自带sort函数，在algorithm头文件中。sort函数可以排序数组，vector，等等（我不知道能不能排序map，没有试过，因为不用考虑效率问题，当时直接把所有map的内容移到vector里面了）。因为最后的答案是<key,value>键值对，而pair就是这种形式。所以直接用pair保存每一个<单词，次数>键值对。然后放在vector中。

pair<string,int> tmp;
tmp.first=wordTrans[mapIt->first];
tmp.second=mapIt->second;

　　接下来对于vector（这里vector变量名是sortArray）直接sort就好了。

sort(sortArray.begin(),sortArray.end(),Compare);

　　sort函数包含3个参数，分别是排序起始的位置，排序结束的位置，以及比较函数函数名。这个比较函数是自己写的。

bool Compare(pair<string, int> a,pair<string, int>b){...}

　　函数需要返回bool型，以便告诉sort，在什么情况下，我认为a<b。

　　通过这种方式，只需要几行代码就能完成最后一步。工作量要小不少。

　　以上就是整个作业的大体。写下来大约100行左右。如果有什么问题或者需要接一下C++ primer，可以留言或者找我们小组的成员。

Z.XML

编辑：肖俊鹏