• 高性能异步爬虫


    一、目的:在爬虫中使用异步实现高性能的数据爬取操作

    二、异步爬虫的方式:

    1、多线程、多进程(不建议)

    好处:可以为相关阻塞的操作单独开启线程或者进程,阻塞操作就可以异步执行

    弊端:无法无限制的开启多线程或者多进程

    2、线程池、进程池(适当使用)

    好处:我们可以降低系统对进程或者线程创建和销毁的一个频率,从而很好的降低系统的开销

    弊端:池中线程或者进程的数量是有上限的

    3、单线程+异步协程(推荐):

    event_loop:事件循环,相当于一个无限循环,我们可以把一些函数注册到这个事件循环上,当满足某些条件的时候,函数就会被循环执行

    coroutine:协程对象,我们可以将协程对象注册到事件循环中,它会被事件循环调用。我们可以使用 async 关键字来定义一个方法,这个方法在调用时不会立即被执行,而是返回一个协程对象。

    task:任务,它是对协程对象的进一步封装,包含了任务的各个状态

    future:代表将来执行或还没有执行的任务,实际上和 task 没有本质区别

    async:定义一个协程

    await:用来挂起阻塞的执行

  • 相关阅读:
    粗看ES6之函数
    粗看ES6之变量
    https微信分享看不到图片的坑
    关于WebStorm,PhpStorm新版本输入中文问题
    ios下表单disabled样式重置
    关于IE的一些hack
    来自语文老师的教诲
    DP专题
    对近期参加的所有比赛的简略整理和好的idea的收集
    网络流学习
  • 原文地址:https://www.cnblogs.com/nanjo4373977/p/12965384.html
Copyright © 2020-2023  润新知