Ajax爬取实战头条街拍美图

转载自：静觅 » [Python3网络爬虫开发实战] 6.4-分析Ajax爬取今日头条街拍美图

 上面文章中几个重点的地方，记录下：

• 技巧类

　　在查看网页的时候，选择检查--network,然后我们清空所有的请求信息，刷新页面，这时候的第一个请求就是这个页面的骨架，基本的代码都在里面，但是数据可能是Ajax请求之后，在通过js渲染进去的，这个时候将我们想要的页面上的数据进行复制在network的Preview选项卡查看Response Body，进行搜索，若结果存在，我们直接请求该网页，就能获取到想要的信息，要是没有，数据就是通过后请求，在渲染的模式进行加载的，这里需要我们分析请求数据的链接，首先将all的搜索模式切换成xhr,在刷新请求，这里截取到的都是ajax请求，在其中看是否有需要的数据，如存在，分析请求方式，获取json数据即可。

　　这次的街拍的需求，虽然是分析出了ajax的请求，但是请求头中存在着加密的东西，可能需要读取源码中的js部分才能破解，所以下面的部分没有写自己的代码

• 代码类
• 图片的处理，文件夹的构造，文件名字的选取

  import os
  # hashlib--MD5的作用一是给图片起名字，二是可以取出重复图片
  from hashlib import md5
  
  
  def save_image(item):
      # 构建文件夹用于存储图片
      if not os.path.exists(item.get('title')):
          os.mkdir(item.get('title'))
      try:
          response = requests.get(item.get('image'))
          if response.status_code == 200:
              # 构造图片的存储路径
              file_path = '{0}/{1}.{2}'.format(item.get('title'), md5(response.content).hexdigest(), 'jpg')
              if not os.path.exists(file_path):
                  # content请求回来的数据就是二进制的，所以wb直接写入文件即可
                  with open(file_path, 'wb') as f:
                      f.write(response.content)
              else:
                  print('Already Downloaded', file_path)
      except requests.ConnectionError:
          print('Failed to Save Image')

• • 多进程进程池的使用

    from multiprocessing.pool import Pool
    
    
    def main(offset):
        json = get_page(offset)
        for item in get_images(json):
            print(item)
            save_image(item)
    
    # 固定的变量我们尽量使用大写变量进行存储，实现参数化编程
    GROUP_START = 1
    GROUP_END = 20
    
    if __name__ == '__main__':
        # 开启线程池
        pool = Pool()
        groups = ([x * 20 for x in range(GROUP_START, GROUP_END + 1)])
    
        # 池类中最重要的就是map方法，将数据list映射到方法中
        pool.map(main, groups)
        pool.close()
        pool.join()