使用Python获取Wikipedia 的url时出现“ERR_ACCESS_DENIED”怎么办？ emy_yu 博客园

使用Python获取Wikipedia 的url时出现“ERR_ACCESS_DENIED”怎么办？ - emy_yu - 博客园

使用Python获取Wikipedia 的url时出现“ERR_ACCESS_DENIED”怎么办？

最近想用中文维基百科的一些文章进行文本分析，于是想爬一些有用的网页下来。起初找了个叫teleport pro的软件，但几经周折还是没找到方法下载指定层的文本（图片可以），而且下下来很多没用的插件，甚是复杂（网上有人说可以实现，但至今未研究明白，还请高手指点！）。于是用python写了段代码获取指定url的网页。这也是第一次接触urllib等库的使用。

代码如下（Linux 下 Python 2.6）：

# coding=utf-8

import urllib

url='http://zh.wikipedia.org/wiki/Wikipedia:%E5%84%AA%E8%89%AF%E6%A2%9D%E7%9B%AE'
loca='/home/yxl/work/crawingpage/wiki.html'

urllib.urlretrieve(url,loca)

但每次获得的网页都是无法进入该网页的错误信息，返回的网页内容如下：

于是在网上找到了这样一个产生类似问题的帖子，解答说可以用urllib2 加上headers可以解决：

于是我把代码修改后：

# coding=utf-8

import urllib2

url='http://zh.wikipedia.org/wiki/Wikipedia:%E5%84%AA%E8%89%AF%E6%A2%9D%E7%9B%AE'
loca='/home/yxl/work/crawingpage/wiki.html'

opener = urllib2.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/5.0')]
urldata = opener.open(url)
f=file(loca,'w')
m=urldata.read()
print>>f,m