python之爬虫

一、爬虫之requests模块

---

 

需求：给关键字到各在网站搜索存入数据库

1.概述： requests模拟浏览器向后端发请求

             requests模块如何安装：pip3 install requests

             import requests

             get请求：

             response=requests.get('https://www.sogou.com/web?query=小虎')//发get请求，封装到response里了

             print(response.text)

             post请求：

             form_data={   

                        'phone':18912020023

                        'password':'djfkjf'           

                }

               response=requests.post(

                          url='http://dig.chouti.com/login'

                          data=form_data

               )

              print(response.text)

               requests.put()  requests.delete() requests.head()  requests.options()

2.requests的基本参数

     (1)另一种调用方法：

              requests.request(

                       method='get'

                        url='https://www.sogou.com/web'

                        params={'query':小虎,'q':'b'}//会自己拼接url：https://www.sogou.com/web?query=小虎&q=b

                        data={}//放请求体里的

                         cookie={'.CNBlogsCookie':'....'}

              )

              requests.request(

                       method='post'

                        url='https://www.sogou.com/web'

                        params={'query':小虎,'q':'b'}//会自己拼接url：https://www.sogou.com/web?query=小虎&q=b

                        data={'user':'dan'}//放请求体里的，可字典可字符串#"user=dan;pwd=sdfsdf":自己转成字符串，默认带请求头application/x-www-form-urlencoded

                        json=json.dumps({'user':'dan'})//默认带上请求头变成application/json

                          //有二种情况会出现浏览器能访问到数据，用这个请求就加获取不到数据，有二种情况如下：

                        headers={       请求头，是后台拿不到的数据

                               'User-Agent':' Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.128 Safari/537.36 '，//终端是什么，把浏览器的终端信息拿过来放进去

                               'Referer':'https://www.zhihu.com'，//第二次发请求时要有的

                        }

                        cookies={'.CNBlogsCookie':'....'},//流程：用户会话保持，第一次登录成功后会发一个随机字符串

                       其它参数：

                        files,auth,proxies等

                       

                         )

             def index(request):

                    request.method

                    request.GET.get('query')//后台拿的是params的字典，在url里拿数据

                    request.POST.get('user')//后台拿到的是data里的数据，在请求体里拿数据

                    request.body:拿到的是传输的字符串

                                   先判断请求头里是不是content-type:application/x-www-form-urlencoded，如果是把传输数据赋给body

                                   再把数据转成字典给POST,如果请求头不是这样比如是application/json就不转换直接给body，POST就是空