博客地址
051601135 岳冠宇 博客地址
051604103 陈思孝 博客地址
Github地址
具体分工
我实现了爬虫工具及wordcount的代码测试，队友实现wordcount新增功能的实现。
PSP表格
| PSP2.1 | Personal Software Process Stages | 预估耗时（分钟） | 实际耗时（分钟） |
|---|---|---|---|
| Planning | 计划 | 30 | 35 |
| · Estimate | · 估计这个任务需要多少时间 | 30 | 35 |
| Development | 开发 | 910 | 870 |
| · Analysis | · 需求分析 (包括学习新技术) | 60 | 70 |
| · Design Spec | · 生成设计文档 | 20 | 30 |
| · Design Review | · 设计复审 | 10 | 10 |
| · Coding Standard | · 代码规范 (为目前的开发制定合适的规范) | 20 | 20 |
| · Design | · 具体设计 | 50 | 30 |
| · Coding | · 具体编码 | 700 | 650 |
| · Code Review | · 代码复审 | 30 | 50 |
| · Test | · 测试（自我测试，修改代码，提交修改） | 20 | 30 |
| Reporting | 报告 | 120 | 130 |
| · Test Repor | · 测试报告 | 90 | 90 |
| · Size Measurement | · 计算工作量 | 0 | 0 |
| · Postmortem & Process Improvement Plan | · 事后总结, 并提出过程改进计划 | 30 | 40 |
| | 合计 |1060 |1035
解题思路与设计实现
-
爬虫实现
因为之前学过python，知道用python做爬虫很方便，于是就用python写了一个小程序爬取论文信息。
核心模块是BeautifulSoup，用来处理网页的信息和爬取需要的内容
思路：先得到论文主页的网址，根据网页的源代码信息获得每篇论文的地址，再分别分析每个网页的源代码，定位标题标签和摘要标签，然后爬取信息，写入文件。
homeurl="http://openaccess.thecvf.com/CVPR2018.py"
file = urllib.request.urlopen(homeurl).read()
page = BeautifulSoup(file , "html.parser")
得到主页的网页内容，并转码。
for link in page.find_all("dt",class_="ptitle"):
uuu=link.find('a')
url=str(uuu.get('href'))
定位每篇论文的网址，需要注意的是从网页源代码得到的网址不能直接用，要在前面加上http://openaccess.thecvf.com/才是完整的网址。
title = re.findall('
abstract=re.findall('
通过正则表达式定位和提取标题和摘要信息
最后写入文本文件，值得注意的是我们我们爬取的信息的格式是utf-8，但是记事本写入的默认格式是GBK，有些英文是不能识别的，会报错，
f=open(r'C:UserscsxcsDesktop esult.txt','w',encoding='utf-8')
打开文件时要设置一下。
爬取过程如下，运行..py程序即可，可能是网络问题，打开网页的速度很慢，爬取所有的论文也需要一段时间。
代码实现
-
代码组织与内部实现设计（类图）
-
说明算法的关键与关键实现部分流程图
处理新增权重的要求
先定位title和abstract标签的位置，设置flag。遇到title，flag置为1，并且w=1，后面的统计单词权重置为10，遇到abstarct，flag置为0。
关键代码解释
int wordcnt = 0;
int k, i, j, x=1, y=1;
if (bo == 1)
y = 10;
char p,m;
while (!feof(fp))
{
char c = getc(fp);
if ((c >= 'a'&&c <= 'z') || (c >= 'A'&&c <= 'Z'))//可能是单词
{
k = 0;//从第0位开始判断
while ((c >= 'a'&&c <= 'z') || (c >= 'A'&&c <= 'Z') || (c >= '0'&&c <= '9'&&k >= 4))//继续后几位的验证
{
if (c >= 'A'&&c <= 'Z')//大写改小写
{
c = c + 32;
}
temp.s[k] = c;
m = temp.s[k];
k++;//下一位
c = getc(fp);
p = c;
if (c == ':'&&m == 'e')
temp.bl = y;
if (c == ':'&&m == 't')
temp.bl = x;//改变权重
}
temp.s[k] = ' ';//结束标识
k++;//此词位数+1
j = n;
if (strlen(temp.s) >= 4)//确保大于4位英文字母
{
wordcnt++;//词频置1
if (temp.bl == y)
temp.frq = y;
if (temp.bl == x)
temp.frq = x;
｝
性能改进及分析
可以看出，时间主要消耗在了创建数组上，而且整个代码效率不高。
改进思路
可以用链表STL map工具来实现这次作业，效率能高很多，而且对空间的利用恰到好处
单元测试
对实现的每个功能模块进行不同情况下的测试，用assert断言判断正确与否。
遇到的代码模块异常或结对困难及解决方法
- 问题描述
我使用数组来实现主要功能，后来发现不知道材料具体长度只能创建的足够大，浪费了很多空间和时间，还有可能越界。 - 解决方案
使用链表和STL map可以使整个代码优化很多。 - 体会
写代码对制定算法大方向和使用的数据结构要进行深刻的分析。
贴出Github的代码签入记录
评价队友
执行力强，能快速实现功能。
但解决问题的能力还需要提高。
学习进度条
