• aiohttp的安装


    之前介绍的requests库是一个阻塞式HTTP请求库,当我们发出一个请求后,程序会一直等待服务器响应,知道得到响应后,程序才会进行下一步处理。其实,这个过程比较耗时。如果程序可以在这个等待过程中做一些其他的事情,如进行请求的调度、响应的处理等,那么爬去效率一定会大大提高。

    aiohttp就是这样一个提供异步web服务的库,从python3.5版本开始,python中加入了async/await关键字,使得回调的写法更加直观和人性化。aiohttp的异步操作借助于async/await关键字的写法变得更加简洁,架构更加清晰。使用异步请求库进行数据抓取时,会大大提高效率,下面我们来看一下这个库的安装方法。

    1、相关链接

    官网文档:http://aiohttp.readthedocs.io/en/stable

    Github: http://github.com/aio-libs/aiohttp

    PyPI: https://pypi.python.org/pypi/aiohttp

    2、pip安装

    pip3 install aiohttp

    另外,官方还推荐安装如下两个库:一个是字符编码检测库cchardet,另一个是加速DNS的解析库aiodns。安装命令如下:

    pip3 install cchardet aiodns

    3、安装测试

    安装完成之后,可以在python命令行下测试:

    $ python3

    >>> import aiohttp

    如果没有报错,则证明库已经安装好了。

  • 相关阅读:
    OpenGL I420渲染(四)
    iftop查看带宽占用情况
    mysql join语句原理
    mysql查询sql及索引优化
    MySQL之索引
    IO概念和五种IO模型
    Ubuntu 14.10 下Hive配置
    Hadoop 管理工具HUE配置初始配置
    Ubuntu 15.10 下Scala 操作Redis Cluster
    Hadoop 管理工具HUE配置HBase配置
  • 原文地址:https://www.cnblogs.com/jerryspace/p/9887158.html
Copyright © 2020-2023  润新知