第二次结对作业

这个作业属于哪个课程	https://edu.cnblogs.com/campus/fzzcxy/2018SE1
这个作业要求在哪里	https://edu.cnblogs.com/campus/fzzcxy/2018SE1/homework/11250
作业目标	学会使用爬虫技巧获取云班课上的成绩
作业源代码	https://gitee.com/xjjzzy/pair
赵泽阳	学号：211803388
邱建杰	学号：211808332

需求分析	cookie模拟登陆以及正则（预估）
学习时间	1.5天
分析时间	4h
编码时间	9h
代码量	190行

一.我和他!!!

我是来自18级计算机系软件工程的赵泽阳，学号211803388，平时的户外活动基本和我没什么瓜葛（一些学校组织的活动除外），对我来说，宅在宿舍也许是最舒适的放松之地吧。平时会看一些课外的书籍，看些古装电视剧和电影，有时候也会打打游戏。

学号：211808332他是邱建杰，和我同班一个同学，平时喜欢研究一些匪夷所思的东西，着实不知道他在想啥哈哈哈。通过大一下的转专业让本没有任何交集的两人彼此相互认识，并通过了解得知在同一个省而且离得还挺近，一场意外的相遇让两个人的命运就这样悄然联系在了一起，慢慢地彼此熟悉成为了好朋友。

这次再次结对想必一定会更加的默契，效率也会相对提高！！！

二.这次结对的过程！！！

(1).这次结对的感受:

赵泽阳：这次的结对作业可以说学到了很多，从原本对爬虫一无所知的我，通过两天对爬虫教程的了解，也是学了个模模糊糊，其中的原理还不是很理解，也是询问了对爬虫认知比较多的同学才得以有个大致的了解，以及对这次程序的编码，通过学习班课资源的爬虫教程，与冰炜同学的交流和参考代码知道了获取cookie的方法，发送请求，响应爬取信息，以及组装请求组头等一些重要知识点，收获满满！！！

邱建杰：通过第二次结队作业，我深刻感受到了自己能力的不足，在我和赵泽阳同学的合作下第二次的结队作业，终于完美完成加，非常希望能跟他再次合作，让我感受到了团队的魅力，软件工程uml让我学习到了很多很多的东西，我会更加努力的。

三.项目需求以及分析

这次的项目需求分析和具体实现思路：

【1】:通过获取cookie模拟登陆，进入活动页面获取html信息。

【2】:通过获取的html信息统计每个学生的课堂完成部分的总经验值。

【3】：分别对每个url爬取存入html。

【4】：最后统计分数，和最高分，最低分，平均分，存入txt文件中。

四.记录不会的知识的学习过程、记录修改优化的过程

由于是初学爬虫教程，所遇到的问题还是不少的，但经过两天的学习终是弄懂了不少。

【1】：首先就是解析html保存本地，分析页面代码。

依据html中课堂完成部分的class，来获得某个页面的url

Elements es2 = element1.getElementsByAttributeValue("class", "interaction-row");

for (Element element2 : es2) {

if (element2.toString().contains("课堂完成部分")) {

//获得课堂完成活动页面的URL

String url = element2.attr("data-url");

} } }

【2】：开始考虑的时候仅仅只考虑到了同学们已经参与课堂完成部分的经验值的提取，并没有考虑最终经验值为0（学生未参与这种情况的存在）导致开始的统计可能存在一些偏差。

【3】：这段代码分两段，前一段是模拟登陆，后一段是解析html主页，在这段代码中发起了两次请求，第一次请求是模拟登陆获取到 cookie，第二次请求时携带第一次模拟登陆后获取的cookie，这

样也可以访问需要登陆的页面，修改 main 方法

【4】：login 中获取到登录成功之后的cookies之后，构造访问个人中心的请求的问题也是这次作业过程的一点难点，通过云班课资源找到了一些请求的构造方法。

结对照片！

五.最终的结果和git记录

成绩统计表：

：

git的记录过程：：

六.参考资料