爬取豆瓣电影Top250和和豆瓣图书

豆瓣电影top250url：https://movie.douban.com/top250?start=0&filter=

首先f12进入检查CTRL +shift +c定位到标题

 可以看到电影标题在<a>标签下，所以我们只要定位到a标签下就可以了，我们找到<a>标签的最上一级标签<div>标签属性class=item，好了现在我们大概有了思路了，现在让我来写代码吧

第一步：设置请求头headers

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36 Edg/80.0.361.69'}

然后我们发送get请求，并用BeautifulSoup解析

html = requests.get(url,headers=headers)
soup = BeautifulSoup(html.text,'lxml')

这了我们用BeautifulSoup的select方法

movies = soup.select('.item')

这样我们就定位到了div标签，我们创建一个迭代对象一步一步向下定位，定位到我们需要的内容

    for movie in movies:
        movie_name = movie.select_one('div.info a').text.strip().replace(' ','').replace('
','')
        movie_star = movie.select_one('div.star').text.strip()
        movie_quote = movie.select_one('p.quote').text.strip()
        print(movie_name,movie_star[0:3])
        print(movie_quote,'
','-'*80)

其实现在代码已经可以运行了，但是我们只能获取到第一页的内容，如果我们想自动翻页获取怎么办呢

我们点击第二页，查看第二页的url：https://movie.douban.com/top250?start=25&filter=，查看第三页url：https://movie.douban.com/top250?start=50&filter=我们可以发现一个规律

就是翻页其实只带来了url中start=_x_这个数字的改变，所以我们只要写一个for循环每次改变这个数字就可以实现url的改变

现在我们运行代码数据被成功的被爬取了下来

 完整代码如下：

import requests
from bs4 import BeautifulSoup

def get_movies(url):
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36 Edg/80.0.361.69'}
    html = requests.get(url,headers=headers)
    soup = BeautifulSoup(html.text,'lxml')
    movies = soup.select('.item')
    for movie in movies:
        movie_name = movie.select_one('div.info a').text.strip().replace(' ','').replace('
','')
        movie_star = movie.select_one('div.star').text.strip()
        movie_quote = movie.select_one('p.quote').text.strip()
        print(movie_name,movie_star[0:3])
        print(movie_quote,'
','-'*80)

if __name__ == '__main__':
    for each in range(0,100,25):
        url = 'https://movie.douban.com/top250?start={}&filter='.format(each)
        get_movies(url)

当我们会爬取豆瓣电影后其他的类似网站我们同样可以爬取：这里我们再把豆瓣书籍爬取一边：

爬取豆瓣读书的完整代码如下：

方法和上面是一样的，先用get请求获取网页源码，再用BeautifulSoup解析，然后用select方法迭代

import requests,time
from bs4 import BeautifulSoup
from urllib import parse
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36 Edg/80.0.361.69'
}
def get_html(url):
    html = requests.get(url,headers=headers)
    soup = BeautifulSoup(html.text,'lxml')
    books = soup.select('li.subject-item')
    for book in books:
        title = book.select_one('div.info h2 a').text.strip().replace('
','').replace(' ','')
        pub = book.select_one('div.pub').text.strip().replace('
','')
        shuping = book.select_one('p').text
        ratingnum = book.select_one('.rating_nums').text
        print('《',title,'》',pub,"评分",ratingnum,"分")
        print(shuping)
        print('-'*80)


if __name__ == '__main__':
    for each in range(0,100,20):
        url = 'https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start={}&type=T'.format(each)
        print('正在爬取第{}'.format((each//20+1)))
        get_html(url)