Python爬虫总结

Python爬虫的原理：1通过URLopen（）来获取到url页面， 这个过程可以加代理

　　　　　　　　　2这个页面上都是字符串，所以我们而通过字符串查找的方法来获取到目标字符串，用到了正则来匹配目标re.findall(pattern,string)

　　　　　　　　　　或者 查找页面的字符串，bs4.Beautifulsoup（html）可以将url页面的标签提取出来，提升查找效率

　　　　　　　　　3.目标字符串为网址：urlretrieve（）   或者写到excel中

代理访问：

url='http://www.baidu.com'
iplist=['121.226.174.246:8080','210.38.1.142:8080','210.38.1.143:8080']
proxyhandler=urllib.request.ProxyHandler({'http':random.choice(iplist)})
openner=urllib.request.build_opener(proxyhandler)
openner.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) '
'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0')]
urllib.request.install_opener(openner)

response=urllib.request.urlopen(url)
html=response.read().decode('utf-8')

beautifulsoup 来把所有的标签都列出来，然后通过标签的属性来找出每个标签下的url

url="https://tieba.baidu.com/p/1988291937?fr=ala0&pstaala=1&tpl=5&isgod=0"
html=urllib.request.urlopen(url)
bsobj=bs4.BeautifulSoup(html)     #beautifulsoup直接定位标签
print(type(bsobj))
imglist=bsobj.findAll("img",{"src":re.compile(".*.jpg")})  #imglist是含有所有标签类型的元素  img是一个标签   src是标签的属性
for img in imglist:
    print(img["src"])

对图片进行下载

def get_img(html):
    p=r'<img class="BDE_Image" src="([^"]+.jpg)"'
    imglist=re.findall(p,html)
    # for each in imglist:
    #     print(each)
    for each in imglist:
        filename=each.split("/")[-1]
        urllib.request.urlretrieve(each,filename,None)