摘要：... 2
1 引言 ：... 2
1.1课题研究背景和研究现状... 2
1.1.1课题背景和目的... 3
1.1.2研究现状... 4
1.1.2.1语言... 4
1.1.2.2运行环境... 4
1.1.2.3后台爬虫的三大问题... 4
1.2本课题的爬行策略... 5
1.3主要工作... 5
1.4开发工具及其开发环境... 5
2 基于 python 的网络爬虫的设计... 5
2.1爬虫系统设计需求... 5
2.2 Python 语言... 6
2.3 与爬虫相关的 python 模块... 6
3 实验设计... 7
3.1 scrapy 框架来进行爬取... 7
3.1.1 程序结构... 7
3.2 链接的构造... 8
3.3 网页分析... 8
3.4 数据字段 items.py. 9
3.5 主要运行程序... 9
3.6保存数据。... 9
4 实验结果：... 9
5 数据分析... 10
6 结语... 12
参考文献... 12
有需要的给我留言即可