python爬虫准备知识---2、为什么选择python来进行爬虫
一、总结
一句话总结：
c和c++运行效率很高，但是学习和开发成本很大；java的语言代码量很大，一个爬虫程序会随着网址及内容的改变而需要重构，重构时需要花费很多的成本；php并发处理能力弱，速度和效率都达不到爬虫的要求。
1、什么是Urllib？
Urllib是Python内置的HTTP请求库，可以用来做爬虫，但是requests更好用
urlib.request 请求模块
urlib.error 异常处理模块
urllib.parse url解析模块
urlib.robotparser robots.txt解析模块
2、response headers和request headers分别是做什么的？
request headers是浏览器告诉服务器，我传过来的数据是什么样，你要怎么解析
response headers是服务器传回来的response的信息
3、with open(...) as ...？
但由于文件读写时都可能产生IOError，为了保证无论是否出错都能正确地关闭文件，我们用try...finally来实现：python 简化了改写法，即用 with open(...) as...；
二、内容在总结中
博客对应课程的视频位置：