• Python学习——爬虫篇


    requests
    使用requests进行爬取
                    下面是我编写的第一个爬虫的脚本
     
                    import requests # 导入requests模块
                    r = requests.get('https://daohang.qq.com').content # 通过requests.get方法访问地址https://daohang.qq.com,再使用r.content获取返回的bytes内容
                    print(r) # 打印获取到的内容
     
                    结果是不是很熟悉?没错,这里的结果和使用urlopen的时候打印r.read()的结果是一样的,因为这里选择了r.content方法,使结果返回的是bytes型的数据,其实等于是html = bytes(bytearray(html, encoding='utf-8')) 。而requests中如果想使结果变的更加美观则不需要urlopen那么复杂。在urlopen中,我们需要使用decode()方法进行解析,而requests中我们只需要将r.content改变为r.text就可以了
                   
                    import requests
                    r = requests.get('https://daohang.qq.com').text
                    print(r)
     
                    看到结果了吗?是不是很神奇?
                       
                             注: urlopen通常是用来爬取网页内的内容 ,而requests.get/post通常是访问的网址接口类的来获取内容
     
    设置headers
    import requests
    headers = {
                "url":"",               # 配置headers中的各项参数,headers的作用类似一个字典,字典的键是唯一且不可变的
               "Host":"",
                "Referer":"",
                "User - Agent":"",
               }
    url = '接口地址'
    data = {"service":"","tab":"tab2","username":'xxxx',"password":'xxxx'} # 在data中设置各项参数,在访问的时候可以传参
    repsonse = requests.get(url,headers = headers,data = data) .text# 通过requests.get方法对目标链接进行访问,并且调用headers与data两个参数,实现自动登录功能.并通过过r.text实现转码
    print(repsonse) # 打印从页面中获取的内容
     
              运行上述代码,我们可以实现一个简单的接口,模拟登陆的功能。那么,为什么我们要去设置headers呢?有些时候,我们并不能够通过链接直接进行访问,所以这个时候,我们就需要通过设置headers,进行完全模拟请求的封包信息进行访问
     
    设置代理
                   为了避免一些站点对访问的次数和IP的限制,我们在有些时候必须通过设置代理,以及更换代理来帮助我们工作。那么,怎么通过python,去设置代理呢,我们看下面这段代码
               import requests
                 proxies = {'代理地址'}
                 response = requests.get('http://python.jobbole.com/81341/',proxies = proxies).text
                 print(response)
     
                 这里,我们把代理的地址赋予proxies,再通过使用requests.get进行访问的时候,通过代理去访问,并获取到返回内容
     
    HTTP异常处理
                   在实际工作中,我们可能因为这样或者是那样的原因,导致请求失败。那么这个时候,我们想要去解决这个错误,首先就是要去定位这个错误。在python中,可是使用URLError库,以及try-except语句来帮助我们捕获相应的异常。下面是一个例子。
     
              import requests
                proxies = {'代理地址'}
              try:
                   response = requests.get('http://python.jobbole.com/81341/',proxies = proxies).text
              except requests.HTTPError as e :
                   print(e.code)
                print(response)
              
              在这里,我们使用的是URLError的子类,HTTPError进行检查并且打印出我们在发送HTTP请求时,请求对象返回的状态码。当然,我们也可以使用URLError进行对异常的捕获。具体情况具体对待,在这里,我就不一一进行举例说明了。
     
                   上面我们描述了对http的异常捕获,如果我们需要对HTTPError和URLError都进行捕获,需要怎么做呢?我们来看看下面的代码
              import requests
                proxies = {'代理地址'}
              try:
                   response = requests.get('http://python.jobbole.com/81341/', proxies=proxies).text
              except requests.HTTPError as e: # 捕获http的异常
                   print(e.code)                # 打印http返回的状态码
              except requests.URLError as e:  # 捕获URLError
                   print(e.reason)              # 打印捕获到的URLError信息
              else:
                   print(response)              # 打印爬取到的内容
     
              首先我们来看一下,这里为什么先去捕获HTTPError呢?在上面我们也讲了,HTTPError是URLError的子类,在编程中,都是子类在父类之前的,所以,这里我们先对HTTPError进行捕获,如果捕获不到HTTPError,我们再对URLError进行捕获,如果,没有捕获到异常,就打印出爬取的内容。
     
    Cookies
    获取cookies
              cookie,是指某些网站为了辨别用户身份,进行session跟踪而存储在用户本地终端上的数据(通常经过加密)。
                 比如说有些网站需要登录之后才能访问某些页面,,在登录之前你想爬取某些页面,是不被允许的。这个时候,我们就可以利用cookie,进行爬取就可以啦。
     
              import  requests
                request_req = 'https://www.baidu.com/'
                response = requests.get(request_req)
                print(response.text)
                print(response.cookies) # 打印获取到的内容中的cookies
     
           运行上述代码我们可以获得从百度爬取到的代码和cookies,我这里仅仅只是打印了爬取到的所有的cookies。
              当然我们也可以在cookies后面输入我们需要的key来打印我们需要的cookie,那么这个key要怎么打印呢,我举个例子,把上面的 print(response.cookies)换成 print(response.cookies['PSTM']) 就可以打印出key为['PSTM']的cookies了。
              再来说说key的作用。我们可以通过打印key的cookies获取到我们想要value,是不是很方便呢?
              
              我们也可以自己去定义请求的cookies。那么自己定义cookies的作用又是什么呢?
     
              我们通过自己定义cookies,把cookies写死,其实就是为了伪造请求,然后实现自动登录。
              好吧,这里又讲到了自动登录,那么通过cookies实现的自动登录与上面我们传参的自动登录有什么不同呢?从功能上来讲,是没有区别的。但是注意,请注意,cookies是有时效性的。一旦当cookies超时之后,就无法继续自动登录了。而我们传参进行的自动登录,是可以保证每一次都会成功的。
     
    通过cookies自动登录
     
              下面给大家做一个通过获取cookies,并保存到本地,再通过cookies进行模拟登录的示范。
              import requests
              import unittest
              import json
     
              class Login():
              #定义一个方法,对请求方法进行封装
                   def login(self,method,url,getparams,postparams):
              #创建ssesion
                        ssesion = requests.session()
                        result=''
              #对请求方法进行判断,进而选择使用的请求方法,并且打印错误信息
                   if method=='GET':
                        if getparams!='':
                             try:
                                       result=ssesion.get(url,getparams)
                             except:
                                       print(result.status_code,result.reason)
                        else:
                             result=ssesion.get(url)
                             print(result)
                   if method=='POST':
                        if postparams!='':
                             try:
                                       result=ssesion.post(url,postparams)
                             except:
                                       print(result.status_code,result.reason)
              #将返回值进行json格式解码
                      jsdata=json.loads(result.text)
                    return jsdata
              #定义一个类,对上面的方法,类进行调用
              class APIGetAdList(unittest.TestCase):
     
                   def test_call(self):
                        api=Login()
                        getparams=''
                        postparams=''
                        api.login('GET','url', getparams, postparams)
     
              if __name__ == "__main__":
                   unittest.main()
         上面这段代码,是通过ssesion方法,获取cookies,从而实现了一个初级的模拟登陆的功能。我们来讲一下上面这段代码的逻辑。
         1、我们定义一个Login的类,里面用来定义login的方法
         2、定义一个login的方法,里面包含method,url,getparams,postparams四项参数
         3、创建一个ssesion,
         4、通过if对method参数进行判断,进而对请求方法进行选择
         5、尝试去请求目标url,如果出错就打印http状态码和错误信息
         6、对返回的内容进行json格式的解码并返回解码后的内容
         7、定义一个APIGetAdList类,用来定义一个传参的函数
         8、通过定义一个test_call(self)函数,对Login类的login方法中的各项参数进行传参
         9、调用主方法,运行脚本
         
         注:
              get和post的选择
           如果是爬虫,那么抓包就能看到请求方法,如果有接口文档,就可以根据接口文档去选择请求方法。
     
         看起来,并不是很难不是吗?用到的都是我们目前已经掌握的东西。requests,ssesion,httperror,json.
     
         到这里,我们的第一个,初级的登录脚本也算是正式完成了。是不是很有成就感呢?我这段代码,自己查查找找,问人,网上这里扣点代码,那里扣点代码,写写,改改的总共花了差不多一周的时间才完成。我们很多时候都面临一个问题,就是,思路很清晰,但是真的要自己写的时候,却发现总是有这样或者是那样的问题。这个时候,我们不妨去网上,搜索一下,找一下类似的代码作为借鉴。我们并不是抄袭,自学嘛,就是这样。多写写,多练练,就会掌握了。希望大家共同进步。
  • 相关阅读:
    九连环
    Fruit Ninja(取随机数)
    Distinct Values(贪心)
    Harvest of Apples
    Don't Be a Subsequence
    ConvexScore
    守卫
    Trie树
    NOIP 2005 过河
    HDU 4597 Play Game 记忆化DP
  • 原文地址:https://www.cnblogs.com/rookie-c/p/5754798.html
Copyright © 2020-2023  润新知