路飞学城-Python爬虫实战密训-第1章

正式的开始学习爬虫知识，Python是一门接触就会爱上的语言。路飞的课真的很棒，课程讲解不是告诉你结论，而是在告诉你思考的方法和过程。

第一章，学习了如何爬取汽车之家以及抽屉登录并点赞。

import requests
from bs4 import BeautifulSoup


# 登录github并返回帐户名称
def get_info(user_name, user_password):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 '
                      '(KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'}
    try:
        # 获取cookie及token信息
        ret = requests.get(
            url='https://github.com/login',
            headers=headers
        )
        cookie_dict1 = ret.cookies.get_dict()
        res = BeautifulSoup(ret.text, 'html.parser')
        token = res.find(name='input', attrs={'type': 'hidden', 'name': 'authenticity_token'}).get('value')
        # 请求头，完成github登录
        ret2 = requests.post(
            url='https://github.com/session',
            data={
                'commit': 'Sign in',
                'utf8': '✓',
                'authenticity_token': token,
                'login': user_name,
                'password': user_password
            },
            headers=headers,
            cookies=cookie_dict1
        )
        cookie_dict2 = ret2.cookies.get_dict()
        # 获取用户信息数据
        ret3 = requests.get(
            url='https://github.com/'+user_name,
            headers=headers,
            cookies=cookie_dict2
        )
        res3 = BeautifulSoup(ret3.text, 'html.parser')
        div = res3.find(name='div', attrs={'id': 'js-pjax-container'})
        h1 = div.find(name='h1', attrs={'class': 'vcard-names'})
        name = h1.find(name='span', attrs={'class': 'p-name vcard-fullname d-block overflow-hidden'}).get_text()
        print('The user name is:%s' % name)
        a = div.find(name='a', attrs={'class': 'u-photo d-block tooltipped tooltipped-s'})
        img = a.find(name='img', attrs={'class': 'avatar width-full rounded-2'}).get('src')
        print('The user photo address is:%s' % img)
    except:
        print('sorry,cannot get the information')


if __name__ == '__main__':
    user_name = input('Please input your login name:').strip()
    user_password = input('Please input your password:').strip()
    get_info(user_name, user_password)

1． 爬虫本质，通过代码伪造浏览器发送请求；

2． Http请求伪造像不像：

——请求头：

        —— user-agent：代指用户使用的是什么设备访问

—— cookie：在用户浏览器上保存的标记

——请求体：

        —— name=xxxx&age=18

—— {‘name’:’xxxx’,’age’:18}

       拿不到数据，要么请求头有问题，要么请求体有问题

3. 分析Http请求

—— 先看XHR（ajax请求）

       —— 查看是Get还是Post请求

     —— Post请求要看请求数据格式，注意找Token、Cookies

    —— 可以用正则，或者BS4 selector解析想要的数据