Python爬虫（约会吧全站图片爬取）

0x01 前言

大家好，我还是那个菜菜的Adminxe，依旧还是很菜，然后这几天也是准备深入爬虫，比如学习完，想要去爬一下小说网，或者是XX影片，或者是XX图书漫画，反正你懂的就行了，我是那个脑力小可爱-酷酷的菜！

今天准备给大家分享的是python爬虫之爬取百度贴吧（约会吧）全站图片，当然，不懂得自行搜索，我为啥要爬取这个贴吧，肯定不用想，那必然是妹子多，妹子多，才能福利大，有妹子，才能激发脑细胞，才能继续学习！

0x01 爬取效果

0x02 爬虫代码

#! /usr/bin/python3
# 约会吧全站图片爬取

import requests,parsel,os

page_num = 0
for page in range(0,57050 + 1, 50):
    page_num = +1
    print('===========================正在爬取第{}页图片==========================='.format(page_num))
    #爬虫的一般思路
    #1、分析目标网页，确定爬取的url路径，headers参数
    base_url = "https://tieba.baidu.com/f?ie=utf-8&kw=%E7%BA%A6%E4%BC%9A%E5%90%A7&fr=search&pn={}".format(page)
    headers = {'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'}
    #2、发送请求 --requests 模拟浏览器发送请求，获取响应数据
    response = requests.get(url=base_url,headers=headers)
    html_str = response.text
    #print(html_str)

    #3、解析数据 --parsel 转化为Selector对象，Selector对象具有xpath的方法，能够对转化的数据进行处理
    # 转化数据类型
    html = parsel.Selector(html_str)
    #print(html)
    title_url = html.xpath('//div[@class="threadlist_title pull_left j_th_tit "]/a/@href').extract()
    #print(title_url)

    # 拼接完整的url地址
    for title in title_url:
        all_url = 'https://tieba.baidu.com' + title
        print('当前帖子连接：',all_url)
        # 继续发送帖子的请求
        response_2 = requests.get(url=all_url,headers=headers)
        html_img = response_2.text
        # 二次数据
        html2 = parsel.Selector(html_img)
        img_url = html2.xpath('//cc/div/img[@class="BDE_Image"]/@src').extract()
        #print(img_url)

        for img in img_url:
            img_data = requests.get(url=img,headers=headers).content
        # 4、保存数据
        #     file_name = img.split('/')[-1]
        #     with open('YUBimg\' + file_name,mode='wb') as f:
        #         print('正在下载图片：',file_name)
        #         f.write(img_data)
        #         f.close()
            root = "D://pics//"
            file_name = img.split('/')[-1]
            path = root + file_name
            try:
                if not os.path.exists(root):
                    os.mkdir(root)
                if not os.path.exists(path):
                    with open(path,'wb') as f:
                        print('正在下载图片：',file_name)
                        f.write(img_data)
                        f.close()
            except:
                print("爬取失败！")

转载请注明：Adminxe's Blog » Python爬虫（约会吧全站图片爬取）