• 测试开发Python培训:实现屌丝的图片收藏愿望(小插曲)


    测试开发Python培训:实现屌丝的图片收藏愿望(小插曲)

    男学员在学习python的自动化过程中对于爬虫很感兴趣,有些学员就想能收藏一些图片,供自己欣赏。作为讲师只能是满足愿望,帮助大家实现对美的追求,http://wanimal.lofter.com/?page=1,~_~

    第一步:分析请求页面

    我们在上课的时候教给大家firefox,来分析请求页的html源代码,我们请求页面发现规律页面是http://wanimal.lofter.com/?page=2,只要替换掉数字2,变成数字就可以翻页,然后每一个页面里的图片地址发现规律如下

            
            
            
       

    第二步:实现

     

    import requests#首先importrequests和shutils
    import shutil
    from bs4 import BeautifulSoup#再import我们刚才说的BS

    def download(page):#这个函数用来寻找,下载,保存图片
      url = "http://wanimal.lofter.com?page=%d" % page#这里是写好目标地址的url并方便后边循环page(把所有页面都下载了)

      html = requests.get(url).content#这里是通过requests来获得整个网页的源代码并整理
      photos = BeautifulSoup(html).find_all(class_="imgwrapper")#用BeautifulSoup解析html,然后使用BS自带的函数,找到所有class为imgwrapper的项存在一个list里面
      for photo in photos:
        img_url = photo.img["src"]#这里是获得上面每一条里面的img(有这个方法)的“src”里存储的字符串(也就是图片的真实地址)
        # print photo, img_url
        img_filename = "img/" + img_url.split("/")[-1]#使用切片工具切出每一个文件名
        img = requests.get(img_url, stream=True)#保存了
        if requests.get(img_url).status_code == 200:
          with open(img_filename, 'wb') as f:
            shutil.copyfileobj(img.raw, f)
          print img_filename,"saved."#完成了叫一声

    if __name__ == '__main__':
    for page in xrange(1,33):
    download(page)
    原文链接:http://www.cnblogs.com/laoli0201

  • 相关阅读:
    Oauth2.0认证原理
    互联网开放平台API安全设计
    API接口幂等性框架设计
    防盗链&CSRF&API接口幂等性设计
    ElasticSearch高可用集群环境搭建和分片原理
    SpringBoot2.0+ElasticSearch网盘搜索实现
    Elasticsearch6.4.3文档的映射
    中文分词器
    C# 插件
    JavaScript 网址
  • 原文地址:https://www.cnblogs.com/poptest/p/4881692.html
Copyright © 2020-2023  润新知