pycharm里安装beautifulSoup以及lxml，才能使爬虫功能强大。
做网页爬虫需要，《网页解析器：从网页中提取有价值数据的工具
http://blog.csdn.net/ochangwen/article/details/51959754
在爬取数据的时候，有两种方式post和get，这两种方式的区别和联系。
-------------------------------------------------------------------------------------------
https://www.jianshu.com/p/4231173ccc83
网络爬虫（又被称为网页蜘蛛)，网络机器人，是一种按照一定的规则，自动地抓信息的程序或者脚本。假设互联网是一张很大的蜘蛛网，每个页面之间都通过超链接这根线相互连接，那么我们的爬虫小程序就能够通过这些线不断的搜寻到新的网页。
Python作为一种代表简单主义思想的解释型、面向对象、功能强大的高级编程语言。它语法简洁并且具有动态数据类型和高层次的抽象数据结构，这使得它具有良好的跨平台特性，特别适用于爬虫等程序的实现，此外Python还提供了例如Spyder这样的爬虫框架，BeautifulSoup这样的解析框架，能够轻松的开发出各种复杂的爬虫程序。
在这篇文章中，使用Python自带的urllib和BeautifulSoup库实现了一个简单的web爬虫，用来爬取每个URL地址及其对应的标题内容。
- 爬虫算法从输入中读取的一个URL作为初始地址，向该地址发出一个Request请求。
- 请求的地址返回一个包含所有内容的，将其存入一个String变量，使用该变量实例化一个BeautifulSoup对象，该对象能够将内容并且将其解析为一个DOM树。
根据自己的需要建立正则表达式，最后借助HTML标签从中解析出需要的内容和新的URL，将新的放入队列中。 - 对于目前所处的URL地址与爬去的内容，在进行一定的过滤、整理后会建立索引，这是一个单词-页面的存储结构。当用户输入搜索语句后，相应的分词函数会对语句进行分解获得关键词，然后再根据每个关键词查找到相应的URL。通过这种结构，可以快速的获取这个单词所对应的地址列表。在这里使用树形结构的存储方式，Python的字典和列表类型能够较好的构建出单词词典树。
- 从队列中弹出目前的URL地址，在爬取队列不为空的条件下，算法不断从队列中获取到新的网页地址，并重复上述过程。
环境：
- Python 3.5 or Anaconda3
- BeautifulSoup 4
未完待续
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
按照网上的很多安装包和安装教程 最后总会报错 说我安装的beautifulSoup版本不对 来来回回折腾一周 突然发现我太蠢了
其实可以直接利用一条命令搞定 但前提是要安装了pip 这样利用pip就可以直接安装最新版本的beautifulSoup了
待这些模块以cmd的命令安装成功以后 执行文件还是会出错
类似No module named 'bs4'等错误的解决方法
参看链接 安装pycharm的各个模块 https://www.cnblogs.com/xisheng/p/7856334.html
网页爬虫原理
https://blog.csdn.net/hanchaobiao/article/details/72860523