福大软工1816 · 第五次作业

1.结对同学的博客链接、本作业博客的链接、所Fork的同名仓库的Github项目地址

Github地址：https://github.com/Stellaaa18/pair-project 

结对同学的博客链接：http://www.cnblogs.com/Stella12/p/9769114.html

本作业博客的链接：https://edu.cnblogs.com/campus/fzu/Grade2016SE/homework/2138

2.分工

　　杨礼亮：负责爬虫、处理数据；分权重词频统计部分代码；实现字符、行数统计部分代码；

　　（队友）林翔宇：负责实现多参数混合使用功能实现；词组、单词、统计部分代码；负责整合代码；性能分析；

　　各自写自己负责部分的博客。

3.PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	20	30
· Estimate	· 估计这个任务需要多少时间	20	30
Development	开发	750	820
· Analysis	· 需求分析 (包括学习新技术)	200	230
· Design Spec	· 生成设计文档	30	40
· Design Review	· 设计复审	30	10
· Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	100	60
· Design	· 具体设计	200	300
· Coding	· 具体编码	100	100
· Code Review	· 代码复审	30	20
· Test	· 测试（自我测试，修改代码，提交修改）	60	60
Reporting	报告	80	100
· Test Repor	· 测试报告	60	60
· Size Measurement	· 计算工作量	5	5
· Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	15	35
	合计	850	950

4. 使用工具爬取论文信息

爬虫工具：八爪鱼采集器

使用方法：

　　这个工具使用起来很简易。

　　首先建立一个自定义采集，输入将要采集的网页网址，保存网址后便会自动跳转。

　　第二，我将标题与简介分开采集，采集标题只需要在本页面直接采集，采集简介要设计循环链接。

　　采集完成后就可以以excel格式导出，再将excel中的数据粘贴到文本中。

　　我是将标题和简介放到两个文本中，采集后的数据比较混乱，需要按格式输出，所以用c语言写了一些程序来整理文本。

这里附上一些伪代码

//在简介前面加上 Abstract: 
void Abstract(char *filename)
{
    ifstream file;
    file.open(filename);
    
    string s;
    string t="Abstract: ";
    ofstream fileOutput;
    fileOutput.open("2.txt", ios::app);
    while(getline(file, s))
    {
        fileOutput << t+s << endl;
    }
    
    file.close();
}

//在标题前面加上 Title:  
void Title(char *filename)
{
    ifstream file;
    file.open(filename);
    
    string s;
    string t="Title: ";
    ofstream fileOutput;
    fileOutput.open("1.txt", ios::app);
    while(getline(file, s))
    {
        fileOutput << t+s << endl;
    }
    
    file.close();
}

//按格式输出
void Title(char *filename)
{
    ifstream file;
    file.open(filename);
    
    string s;
    int count= 979;
    for(int i=0;i<count;i++)
    {
        getline(file, s);
        title[i]=s;
    }
    file.close();
}

void Abstract(char *filename)
{
    ifstream file;
    file.open(filename);
    
    string s;
        int count= 979;
    for(int i=0;i<count;i++)
    {
        getline(file, s);
        abstract[i]=s;
    }
    file.close();
}

int main()
{
    ofstream fileOutput;
    fileOutput.open("result.txt", ios::app);
    char filename1[105]= "1.txt";
    char filename2[105]= "2.txt";
    Title(filename1);
    Abstract(filename2);
    int count= 979;
    for(int i=0;i<count;i++)
    { 
        fileOutput<<i<<endl;
        fileOutput<<title[i]<<endl;
        fileOutput<<abstract[i]<<endl;
        fileOutput<<endl<<endl;
    }
    return 0;
}

　　最终结果如下

5.代码组织与内部实现设计（类图）

分装成五个接口函数，分别实现多参数混合使用、字符统计、行数统计、词组统计、分权重词频统计

int AnalyseParameter(char **argv);
int CountChar(string name);
int CountLines(string name);
void PhraseFreq(string str);
void TopNPhrases();
int WordFreq(string s);
void TopNWords();

内部实现如下：

类图：

6.算法的关键与关键实现部分流程图

本次任务的关键在于词组统计的实现，实现部分代码如下：

void PhraseFreq(string s)
{
    string word = "";
    string phrase = "";
    int cnt = 0, secWord;
    int len = s.length();
    for (int i = 0; i < len; i++) {
        if (s[i] >= 'A' && s[i] <= 'Z') {
            s[i] += 32; //change into lower case
        }
        if ((s[i] >= '0'&&s[i] <= '9') || (s[i] >= 'a'&&s[i] <= 'z')) {
            word += s[i];
            if (i == len - 1 && IsWord(word)) {
                cnt++;
                if (cnt == 1) {
                    phrase += word;
                }
                else {
                    phrase += " ";
                    phrase += word;
                }
                if (cnt == 2) {
                    secWord = i - word.size() - 1;
                }
                if (cnt == phraseLen) {
                    if (weightOnWord && inTitle) {
                        mapPhrase[phrase] += 10;
                    }
                    else
                        mapPhrase[phrase]++;
                    i = secWord;
                }
            }
        }
        else if (word != "") {
            if (IsWord(word)) {
                cnt++;
                if (cnt == 1) {
                    phrase += word;
                }
                else {
                    phrase += " ";
                    phrase += word;
                }
                if (cnt == 2) {
                    secWord = i - word.size() - 1;
                }
                if (cnt == phraseLen) {
                    if (weightOnWord && inTitle) {
                        mapPhrase[phrase] += 10;
                    }
                    else
                        mapPhrase[phrase]++;
                    i = secWord;
                    cnt = 0;
                    phrase = "";
                }
            }
            else {
                cnt = 0;
                phrase = "";
            }
            word = "";
        }

    }
}

流程图：

7.关键代码解释

以下是主函数的部分代码，用来处理输入文件

int main()
{
        ifstream fin(inputFile); 
    string str;
    while (getline(fin, str)) { //按行读取文件内容 
        inTitle = 0;
        if (str.substr(0, 7) == "Title: ") {//"Title: "不计算在内
            str = str.substr(7, str.length());
            inTitle = 1;
        }
        else if (str.substr(0, 10) == "Abstract: ") {//"Abstract: "不计算在内
            str = str.substr(10, str.length());
        }
        else if (IsNum(str[0]) || str==""){ //不统计论文编号和空行
            continue;
        }
        if (countPhrase) {//countPhrase=1,启用词组词频统计
            PhraseFreq(str);
        }
        characters += CountChar(str);
        words += WordFreq(str);
        lines += CountLines(str);
    }
    fin.close();

        return 0;

}
```
//统计一行中的词组词频
```
void PhraseFreq(string s)
{
    string word = "";
    string phrase = "";
    int cnt = 0, secWord;
    int len = s.length();
    for (int i = 0; i < len; i++) {
        if (s[i] >= 'A' && s[i] <= 'Z') {
            s[i] += 32; //大写转小写
        }
              //遍历到最后一个字符，和遇到分隔符一样，要判断当前词组是否符合条件
        if ((s[i] >= '0'&&s[i] <= '9') || (s[i] >= 'a'&&s[i] <= 'z')) {
            word += s[i];
            if (i == len - 1 && IsWord(word)) { 
                cnt++;
                if (cnt == 1) {
                    phrase += word;
                }
                else {
                    phrase += " ";
                    phrase += word;
                }
                if (cnt == 2) {
                    secWord = i - word.size()-1;
                }
                if (cnt == phraseLen) {
                    if (weightOnWord && inTitle) {
                        mapPhrase[phrase] += 10;
                    }
                    else
                        mapPhrase[phrase]++;
                    i = secWord;
                }
            }
        }
        else if(word!=""){ //遇到分隔符且word不为空
            if (IsWord(word)) { //如果是有效单词
                cnt++;
                                //单词加到phrase中
                if (cnt == 1) {
                    phrase += word;
                }
                else {
                    phrase += " ";
                    phrase += word;
                }
                if (cnt == 2) { //记录词组第二个单词的位置
                    secWord = i - word.size()-1;
                }
                if (cnt == phraseLen) { 
                    if (weightOnWord && inTitle) { //若启用权重统计并且是属于title的单词
                        mapPhrase[phrase]+=10; //权重为10
                    }
                    else
                        mapPhrase[phrase]++;
                    i = secWord; //回到第二个单词首
                    cnt = 0;  //当前单词数清零
                    phrase = ""; //phrase清零
                }
            }
            else {
                cnt = 0;
                phrase = "";
            }
            word = "";
        }

    }
}

8.性能分析与改进 

展示性能分析图和程序中消耗最大的函数
使用爬取的论文进行测试，输入命令行参数为WordCount.exe -i paper.txt -o result.txt -w 1 -m 3 -n 10，运行时间为18.716s,输出结果如下：

 

性能报告截图：

 

从中可以看出，消耗最大的函数是TopNPhrase(),占据总运行时间的49.1%。

 

9.单元测试 

 附上检测代码：

        TEST_METHOD(TestMethod1)
        {
            string name;
            name="chartest1.txt";
            int chars = CountChar(name);
            Assert::AreEqual(chars, 40);
        }
        TEST_METHOD(TestMethod2)
        {
            string name;
            name = "chartest2.txt";
            int chars = CountChar(name);
            Assert::AreEqual(chars, 74);
        }
        TEST_METHOD(TestMethod3)
        {
            string name;
            name = "wordtest1.txt";
            ifstream fin(name);
            int words = 0;
            string str;
            while (getline(fin, str)) {
                inTitle = 0;
                if (str.substr(0, 7) == "Title: ") {
                    str = str.substr(7, str.length());
                    inTitle = 1;
                }
                else if (str.substr(0, 10) == "Abstract: ") {
                    str = str.substr(10, str.length());
                }
                else if (IsNum(str[0]) || str == "") { //ignore paper number and empty lines
                    continue;
                }
                if (countPhrase) {
                    PhraseFreq(str);
                }
                words += WordFreq(str);
            }
            fin.close();
            Assert::AreEqual(words, 5);
        }
        TEST_METHOD(TestMethod4)
        {
            string name;
            name = "wordtest2.txt";
            ifstream fin(name);
            int words = 0;
            string str;
            while (getline(fin, str)) {
                inTitle = 0;
                if (str.substr(0, 7) == "Title: ") {
                    str = str.substr(7, str.length());
                    inTitle = 1;
                }
                else if (str.substr(0, 10) == "Abstract: ") {
                    str = str.substr(10, str.length());
                }
                else if (IsNum(str[0]) || str == "") { //ignore paper number and empty lines
                    continue;
                }
                if (countPhrase) {
                    PhraseFreq(str);
                }
                words += WordFreq(str);
            }
            fin.close();
            Assert::AreEqual(words, 9);
        }
        TEST_METHOD(TestMethod5)
        {
            string name;
            name = "linetest1.txt";
            ifstream fin(name);
            int lines = 0;
            string str;
            while (getline(fin, str)) {
                inTitle = 0;
                if (str.substr(0, 7) == "Title: ") {
                    str = str.substr(7, str.length());
                    inTitle = 1;
                }
                else if (str.substr(0, 10) == "Abstract: ") {
                    str = str.substr(10, str.length());
                }
                else if (IsNum(str[0]) || str == "") { //ignore paper number and empty lines
                    continue;
                }
                if (countPhrase) {
                    PhraseFreq(str);
                }
                lines += CountLines(str);
            }
            fin.close();
            Assert::AreEqual(lines, 5);
        }
        TEST_METHOD(TestMethod6)
        {
            string name;
            name = "linetest2.txt";
            ifstream fin(name);
            int lines = 0;
            string str;
            while (getline(fin, str)) {
                inTitle = 0;
                if (str.substr(0, 7) == "Title: ") {
                    str = str.substr(7, str.length());
                    inTitle = 1;
                }
                else if (str.substr(0, 10) == "Abstract: ") {
                    str = str.substr(10, str.length());
                }
                else if (IsNum(str[0]) || str == "") { //ignore paper number and empty lines
                    continue;
                }
                if (countPhrase) {
                    PhraseFreq(str);
                }
                lines += CountLines(str);
            }
            fin.close();
            Assert::AreEqual(lines, 5);
        }
        TEST_METHOD(TestMethod7)
        {
            string name;
            name = "characterstest.txt";
            ifstream fin(name);
            int characters = 0;
            string str;
            while (getline(fin, str)) {
                inTitle = 0;
                if (str.substr(0, 7) == "Title: ") {
                    str = str.substr(7, str.length());
                    inTitle = 1;
                }
                else if (str.substr(0, 10) == "Abstract: ") {
                    str = str.substr(10, str.length());
                }
                else if (IsNum(str[0]) || str == "") { //ignore paper number and empty lines
                    continue;
                }
                if (countPhrase) {
                    PhraseFreq(str);
                }
                characters += CountChar(str);
            }
            fin.close();
            Assert::AreEqual(characters, 5);
        }
        TEST_METHOD(TestMethod8)
        {
            string name;
            name = "phrasetest1.txt";
            ifstream fin(name);
            string str;
            while (getline(fin, str)) {
                inTitle = 0;
                if (countPhrase) {
                    PhraseFreq(str);
                }
            }
            fin.close();
            if (countPhrase) { //phrase statistics
                TopNPhrases();
            }
            else { //word statistics
                TopNWords();
            }
            for (auto x : mapPhrase) {
                vecPhrase.push_back(x);
            }
            sort(vecPhrase.begin(), vecPhrase.end(), cmp2);
            Assert::AreEqual(vecPhrase[1].first, string("monday tuesday wednesday"));
            Assert::AreEqual(vecPhrase[1].second, 11);
            
        }
        TEST_METHOD(TestMethod9)
        {
            string name;
            name = "phrasetest2.txt";
            ifstream fin(name);
            string str;
            while (getline(fin, str)) {
                inTitle = 0;
                if (countPhrase) {
                    PhraseFreq(str);
                }
            }
            fin.close();
            if (countPhrase) { //phrase statistics
                TopNPhrases();
            }
            else { //word statistics
                TopNWords();
            }
            for (auto x : mapPhrase) {
                vecPhrase.push_back(x);
            }
            sort(vecPhrase.begin(), vecPhrase.end(), cmp2);
            Assert::AreEqual(vecPhrase[1].first, string("convolutional neural networks"));
            Assert::AreEqual(vecPhrase[1].second, 196);
        }

10.遇到的代码模块异常或结对困难及解决方法

困难：

　　尝试用python写爬虫；

　　在结对合作的过程中，各部分的代码是两个人分开写的，在定义函数接口上出现的参数不一致的情况，合并代码麻烦；

　　在写代码的过程中两个人都没有注释代码的习惯，看对方的代码特别吃力，很多变量和代码逻辑意思不懂。

　　结对过程中联系很少，经常不知道对方的进度。

解决方法：

　　用python写爬虫还没实现；

　　彼此约定下次写各自代码时一定要注释清楚。

11.评价你的队友

　　值得学习：办事效率高，代码能力强大，技术稳稳的，全程带飞我，紧抱队友大腿。

　　需要改进的地方：合作过程沟通较少，彼此工作比较分离。

12.学习进度条

第N周	新增代码（行）	累计代码（行）	本周学习耗时(小时)	累计学习耗时（小时）	重要成长
5	200	600	30	80	1.熟悉了爬虫工具的使用 2.使用c++处理数据 3.写代码过程中学会了新的算法 4.提高了分工合作能力

13.贴出Github的代码签入记录