--爬虫梳理--

一、爬虫

Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。

Requests 是使用 Apache2 Licensed 许可证的 基于Python开发的HTTP 库，其在Python内置模块的基础上进行了高度的封装，从而使得Pythoner进行网络请求时，变得美好了许多，使用Requests可以轻而易举的完成浏览器可有的任何操作。

二、基本操作requests

常用的request请求方式：

1.GET请求

方式一、
r1 = requests.get('https://github.com/login') #请求的登录页面，

print(r1.text) #通过请求，获取html页面，以字符串的方式返回


方式二、

import requests
  
payload = {'key1': 'value1', 'key2': 'value2'}
ret = requests.get("http://httpbin.org/get", params=payload)
  
print（ret.url）#打印请求的url
print（ret.text）

　　

2.POST请求

# 1、基本POST实例
  
import requests
  
payload = {'key1': 'value1', 'key2': 'value2'}
ret = requests.post("http://httpbin.org/post", data=payload)
  
print ret.text
  
  
# 2、发送请求头和数据实例
  
import requests
import json
  
url = 'https://api.github.com/some/endpoint'
payload = {'some': 'data'}
headers = {'content-type': 'application/json'}
  
#请求发送的数据，需加上headers，默认是自带的...
ret = requests.post(url, data=json.dumps(payload), headers=headers)
  
print（ret.text）
print（ret.cookies）#通过cookies再去访问站内其他的页面

　　

3.其他的请求方式：

requests.get(url, params=None, **kwargs)
requests.post(url, data=None, json=None, **kwargs)
requests.put(url, data=None, **kwargs)
requests.head(url, **kwargs)
requests.delete(url, **kwargs)
requests.patch(url, data=None, **kwargs)
requests.options(url, **kwargs)
  
# 以上方法均是在此方法的基础上构建
requests.request(method, url, **kwargs)

　　

4.其他参数的示例：

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import requests

def _method_url():
    '''
    method:请求的类型
    url：请求的路径
    :return:
    '''
    response = requests.request(method='post', url='http://www.baidu.com')


def _param():
    # - 可以字典方式
    # - 可以是字符串方式
    # - 可以字节方式

    r1 = requests.get(
        url='htpp://www.baidu.com',
        params={"user": "yang", "pwd": "123"}
    )  # - --字典方式

    r2 = requests.get(
        url='htpp://www.baidu.com',
        params="user=yang&pwd=123"
    )  # - --字符串方式

    r3 = requests.get(
        url='htpp://www.baidu.com',
        params=bytes("user=yang&pwd=123", encoding='utf-8')
    )  # ---字节方式

    #编码报错...
    r4 = requests.request(method='get',
    url='http://www.baidu.com',
    params=bytes("k1=v1&k2=水电费&k3=v3&k3=vv3", encoding='utf8'))


def _data():
    '''
    post:只有psot发送请求才可data
    :return:
    '''
    # 可以是字典
    # 可以是字符串
    # 可以是字节
    # 可以是文件对象

    r1 = requests.post(
        url='htpp://www.baidu.com',
        data={
            "user": "yangxiang",
            "commit": "sing in",
        }
    ) #- --字典方式

    r2 = requests.post(
        url='htpp://www.baidu.com',
        data="user=yang;pwd=123"
    ) #- --字符串方式, 以;分割，

    r3 = requests.post(
        url='htpp://www.baidu.com',
        data=bytes("user=yang;pwd=123", encoding='utf-8')
    ) #- --字符串方式, 以;分割

    r4 = requests.post(
        url='htpp://www.baidu.com',
        data=open('data.file.py', mode='r', encoding='utf-8')  # 文件内容需要是k1=v1;k2=v2;k3=v3;k3=v4
    ) #- --文件传输方式, 以;分割


def _json():
    #将json中对应的数据进行序列化成一个字符串，json.dumps(....)
    #然后发送到服务端的body中，并且Content-Type是{'Content-Type': 'application/json'}
    r1 = requests.post(
        url = 'http://www.baidu.com',
        json={'k1':'v1','k2':'v2'},
    )


def _headers():
    #发送请求头到服务端
    #请求头的方式Content-Type是{'Content-Type': 'application/x-www-form-urlencoded'}
    r1 = requests.post(
        url='http://www.baidu.com',
        json={'k1': 'v1', 'k2': 'v2'},
        headers={'Content-Type': 'application/x-www-form-urlencoded'}
    )


def _cookies():
    #发送cookies到服务端
    r1 = requests.post(
        url='http://www.baidu.com',
        data={
            "user": "yangxiang",
            "commit": "sing in",
        },
        cookies={'cookie':'value'}
    )

    #也可以使用cookiesJar(字典形式就是在此基础上封装的)
    from http.cookiejar import CookieJar
    from http.cookiejar import Cookie

    obj = CookieJar()
    obj.set_cookie(Cookie(version=0, name='c1', value='v1', port=None, domain='', path='/', secure=False, expires=None,
                          discard=True, comment=None, comment_url=None, rest={'HttpOnly': None}, rfc2109=False,
                          port_specified=False, domain_specified=False, domain_initial_dot=False, path_specified=False)
                   )
    requests.request(method='POST',
                     url='http://127.0.0.1:8000/test/',
                     data={'k1': 'v1', 'k2': 'v2'},
                     cookies=obj)


def _files():

    # 发送文件
    file_dict = {
    'f1': open('readme', 'rb')
    }
    requests.request(method='POST',
    url='http://127.0.0.1:8000',
    files=file_dict)

    # 发送文件，定制文件名
    file_dict = {
    'f1': ('test.txt', open('readme', 'rb'))
    }
    requests.request(method='POST',
    url='http://127.0.0.1:8000',
    files=file_dict)

    # 发送文件，定制文件名
    file_dict = {
    'f1': ('test.txt', "hahsfaksfa9kasdjflaksdjf")
    }
    requests.request(method='POST',
    url='http://127.0.0.1:8000',
    files=file_dict)

    # 发送文件，定制文件名
    file_dict = {
        'f1': ('test.txt', "hahsfaksfa9kasdjflaksdjf", 'application/text', {'k1': '0'})
    }
    requests.request(method='POST',
                     url='http://127.0.0.1:8000',
                     files=file_dict)


def _auth():
    '''基本的验证方式'''
    from requests.auth import HTTPBasicAuth,HTTPDigestAuth

    res = requests.get('https://api.github.com/user',
                       auth=HTTPBasicAuth('yang','efsdfsadf'))
    print(res.text)

    # ret = requests.get('http://192.168.1.1',
    # auth=HTTPBasicAuth('admin', 'admin'))
    # ret.encoding = 'gbk'
    # print(ret.text)

    # ret = requests.get('http://httpbin.org/digest-auth/auth/user/pass', auth=HTTPDigestAuth('user', 'pass'))
    # print(ret)
    #


def _timeout():
    #访问超时时间
    # res = requests.get('http://www.baidu.com',timeout=2)
    # print(res)

    res = requests.get('http://www.baidu.com',timeout=(5,1))
    print(res)


def _allow_redirects():
    '''是否允许重定向  allow_redirects=False'''
    ret = requests.get('http://www.baidu.com', allow_redirects=False)
    ret.encoding = ret.apparent_encoding
    print(ret.text)


def _proxies():
    '''
    代理，
    通过ip的限制，网站会根据ip访问的次数进行限制登录，
    那么就需要代理，获取和诺ip来进行访问
    '''
    proxies = {
    "http": "61.172.249.96:80",
    "https": "http://61.185.219.126:3128",
    }

    proxies = {'http://10.20.1.128': 'http://10.10.1.10:5323'}

    ret = requests.get("http://www.proxy360.cn/Proxy", proxies=proxies)
    print(ret.headers)


    from requests.auth import HTTPProxyAuth

    proxyDict = {
    'http': '77.75.105.165',
    'https': '77.75.105.165'
    }
    auth = HTTPProxyAuth('username', 'mypassword')

    r = requests.get("http://www.google.com", proxies=proxyDict, auth=auth)
    print(r.text)


def _stream():
    #流的方式，超大文件，一点一点的接收
    ret = requests.get('http://127.0.0.1:8000/test/', stream=True)
    #可以打开一个文件，一点一点的写入...
    print(ret.content)
    ret.close()

    # 自动关闭上下文..
    from contextlib import closing
    with closing(requests.get('http://httpbin.org/get', stream=True)) as r:
        # 在此处理响应。
        for i in r.iter_content():
            print(i)


def _session():

    session = requests.Session()

    ### 1、首先登陆任何页面，获取cookie

    i1 = session.get(url="http://dig.chouti.com/help/service")

    ### 2、用户登陆，携带上一次的cookie，后台对cookie中的 gpsd 进行授权
    i2 = session.post(
        url="http://dig.chouti.com/login",
        data={
            'phone': "8615131255089",
            'password': "xxxxxx",
            'oneMonth': ""
        }
    )

    i3 = session.post(
        url="http://dig.chouti.com/link/vote?linksId=8589623",
    )
    print(i3.text)

　　

 三、BeautifulSoup的基本方法操作

使用示例：

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
    <a href='#' class='c1'>123</a>
</body>
</html>
"""

soup = BeautifulSoup(html_doc, features="lxml")

1. name（标签名称）

tag = soup.find('a')
name = tag.name # 获取标签名称
print(name)
tag.name = 'span' # 设置标签
print(soup)

　　

2.attr（标签属性）

tag = soup.find('a')
attrs = tag.attrs
print(attrs) #获取标签的属性
#两种设置标签属性的方式
tag.attrs = {'id':'i1'}
tag.attrs['id'] = 'i1'
print(soup)

　　

3.children,所有子标签

body = soup.find('body')
v = body.children
print(v)
print([ v for i in v])

　

4.children,获取子子孙孙的所有标签

body = soup.find('body')
v = body.descendants
print(v)

　　

5.clear,将标签的所有子标签全部清空（保留标签名）

tag = soup.find('body')
tag.clear()#清除所有的子标签
print(soup)

　　

6.decpmpose,递归的删除所有的标签

body = soup.find('body')
body.decompose()
print(soup)

　　

7.extract,递归的删除所有的标签，并获取删除的标签

body = soup.find('body')
v = body.extract()
print(v) #获取删除的标签
# print(soup) #删除后的html

　　

8.decode，转换为字符串（含当前标签）

decode_contents(不含当前标签)

body = soup.find('body')
v = body.decode()
print(v)
v = body.decode_contents()
print(v)

　　

9.encode,转换为字节（含当前标签）

encode——contents(不含当前标签)

body = soup.find('body')
v = body.encode()
v = body.encode_contents()
print(v)

　　

10.find,获取匹配的第一个标签

tag = soup.find('a')
print(tag)
tag = soup.find(name='a', attrs={'class': 'c1'}, recursive=True, text='123')
#class_:属性也可以这么的去找。也可通过attrs去查找
# tag = soup.find(name='a', class_='sister', recursive=True, text='Lacie')
print(tag)

　　

未完待续.......