Python网络爬虫（浏览器伪装技术）

欢迎关注公众号：Python爬虫数据分析挖掘，回复【开源源码】免费获取更多开源项目源码

01 头信息字段格式

基本格式：”字段名:字段值“

02 常见头信息字段含义

1）字段1: Accept: text/html,application/xhtml+xml,application/xml; q=0.9,/; q=0.8

• Accept字段主要用来表示浏览器能够支持的内容类型有哪些

• text/html表示HTML文档

• application/xhtml+xml表示XHTML文档

• application/xml表示XML文档

• 代表权重系数，值介于0和1之间

这一行字段的信息表示浏览器可以支持text/html，application/xhtml+xml，application/xml，/等内容类型，支持的优先顺序从左到右依次排列。

2）字段2：Accept-Encoding: gzip, deflate

• Accept-Encoding字段主要用来表示浏览器支持的压缩编码有哪些

• gzip是压缩编码的一种
  deflate是一种无损数据压缩算法

这一行字段的信息表示浏览器可以支持gzip，deflate等压缩编码。

3）字段3：Accept-Language: zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3

• Accept-Language字段主要用来表示浏览器支持的语言类型

• zh-CN表示简体中文语言，zh表示中文，CN表示简体

• en-US表示英文（美国）语言

• en表示英语语言

这一行字段的信息表示浏览器可以支持zh-CN，zh，en-US，en等语言。

4）字段4：User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64;rv:47.0) Gecko/20100101Firefox/47.0

• User-Agent字段主要表示用户代理，服务器可以通过该字段识别出客户端的浏览器类型，浏览器版本号，客户端的操作系统及版本号，网页排版引擎等客户端信息

• Mozilla/5.0表示浏览器名及版本信息

• Windows NT 6.1; WOW64; rv:47.0表示客户端操作系统对应信息

• Gecko表示网页排版引擎对应信息

• firefox自然表示火狐浏览器

这一行字段的信息表示为对应的用户代理信息是Mozilla/5.0 (Windows NT 6.1; WOW64;rv:47.0) Gecko/20100101Firefox/47.0。

5）字段5：Connection:keep-alive

• Connection表示客户端与服务器的连接类型，对应的字段值主要有俩种：
  keep-alive表示持久性连接
  close表示单方面关闭连接，让连接断开

这一行字段的信息表示客户端与服务器的连接是持久性连接。

6）字段6：Host:www.baidu.com

• Host字段表示请求的服务器网址是什么

5）字段7：Referer:网址

• Referer字段主要表示来源网址地址

03 实战

import urllib.request
import http.cookiejar
url= "http://xx.xx.com/xxx/xxx.html"
#以字典的形式设置headers
headers={ "Accept":" text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
          "Accept-Language":" zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3",
          "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0",
          "Connection": "keep-alive",
          "referer":"http://xx.xx.com/"}
# 设置cookie
cjar=http.cookiejar.CookieJar()
proxy= urllib.request.ProxyHandler({'http':"127.0.0.1:8888"})  
opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler,urllib.request.HTTPCookieProcessor(cjar))
# 建立空列表，以指定格式存储头信息
headall=[]
# 通过for循环遍历字典，构造出指定格式的headers信息
for key,value in headers.items():
    item=(key,value)
    headall.append(item)
# 将指定格式的headers信息添加号
opener.addheaders = headall
# 将opener安装为全局
urllib.request.install_opener(opener)
data=urllib.request.urlopen(url).read()
fhandle=open("./6.html","wb")
fhandle.write(data)
fhandle.close()

 

注意：

• 如果Accept-Encoding设置为gzip，deflate，有可能会出现乱码问题，此时只需要将该字段信息省略不写或者将该字段信息的值设置为utf-8或gb2312即可。

• 使用Fiddler作为代理服务器，所爬取的网址要以具体文件或者“/”结尾。

• referer字段的值一般可以设置为要爬取的网页的域名地址或对应网站的主页网址。