• 类+进程池的方法爬取喜马拉雅


    python是一门面向对象的语言,那么我们在写爬虫的时候自然也可以用到类的封装来实现爬虫。

    一、类的使用

      首先是对类的封装,可以将一些请求头写入构造函数当中(因为后面有进程池使用,所以构造函数不需要带参数,如果带上在后面的进程池中,也会报错)。

    二、Ajax数据处理

      喜马拉雅的音乐也是采用Ajax的数据交互方式,所以需要用到urllib来构造请求的网址,因此在类的函数中需要传递一个参数,来控制访问的页面的内容。

    1 data = {
    2             "albumId": 3627097,
    3             "pageNum": n,
    4             "sort": -1,
    5             "pageSize": 30
    6         }
    7         url_1 = "https://www.ximalaya.com/revision/play/album?" + urlencode(data)

    可以看到需要参数n来控制URL,并且进程中我们也是要利用这个n值的。

    三、Pool的使用

      导入第三方模块multiprocessing

     1 from multiprocessing import Pool

    1     def download(self):
    2         groups = [x for x in range(1, 34)]
    3         pool = Pool(5)
    4         pool.map(self.parse, groups)

       注意这个groups是个可迭代的对象,而前面的是函数,因为把参数x传给n因此直接使用。最后实例化对象,调用类中的download函数即可。

    四、参考博客

    主要是Pool的使用和Ajax数据交互的分析方法。

    类的使用:

      http://www.runoob.com/python3/python3-class.html

    Pool的使用:

      https://www.cnblogs.com/freeman818/p/7154089.html

    五、源码

      https://github.com/pzq7025/Spider

  • 相关阅读:
    一手遮天 Android
    一手遮天 Android
    一手遮天 Android
    一手遮天 Android
    一手遮天 Android
    一手遮天 Android
    一手遮天 Android
    一手遮天 Android
    一手遮天 Android
    一手遮天 Android
  • 原文地址:https://www.cnblogs.com/future-dream/p/10347354.html
Copyright © 2020-2023  润新知