1、 爬虫
1、 用urllib.request库请求一个url的内容。
2、 用 beautifulsoup解析request库请求得到的内容。
3、 在网页上右键-检查,阅读html代码,归纳出想爬到信息属于html树形结构的哪一部分。
4、 用beautifulsoup的next_element.next_sibling等方法定位到想要的文本。
5、 把beatuifulsoup对象中想要的部分写入文件中。
2、 分词
1、 把文件按时间手动切分成几个。
2、 用正则表达式过滤出中文。
3、 用jieba分词。
4、 记录词频。
5、 用停用词表去除停用词。
6、选出top100.