• 二 web爬虫,scrapy模块以及相关依赖模块安装


    当前环境python3.5 ,windows10系统

    Linux系统安装

    在线安装,会自动安装scrapy模块以及相关依赖模块

    pip install Scrapy

    手动源码安装,比较麻烦要自己手动安装scrapy模块以及依赖模块

    安装以下模块

    1、lxml-3.8.0.tar.gz (XML处理库

    2、Twisted-17.5.0.tar.bz2 (用Python编写的异步网络框架)

    3、Scrapy-1.4.0.tar.gz (高级web爬行和web抓取框架)

    4、pyOpenSSL-17.2.0.tar.gz (OpenSSL库)

    5、queuelib-1.4.2.tar.gz (Queuelib是用于Python的持久(基于磁盘的)队列的集合)

    6、w3lib-1.17.0.tar.gz (与web相关的函数的Python库)

    7、cryptography-2.0.tar.gz (密码学是一种包)

    8、pyasn1-0.2.3.tar.gz (ASN类型和编解码器)

    9、pyasn1-modules-0.0.9.tar.gz (ASN的集合。基于协议模块)

    10、cffi-1.10.0.tar.gz (用于Python调用C代码的外部函数接口)

    11、asn1crypto-0.22.0.tar.gz (快速的ASN一个解析器和序列化器)

    12、idna-2.5.tar.gz (应用程序中的国际化域名(IDNA))

    13、pycparser-2.18.tar.gz (C解析器在Python中)

    windows系统安装

    windows安装,首先要安装pywin32,根据自己的系统来安装32位还是64位

    pywin32-221.win32-py3.5.exe

    pywin32-221.win-amd64-py3.5.exe

    在线安装

    pip install Scrapy

    手动源码安装,比较麻烦要自己手动安装scrapy模块以及依赖模块

    安装以下模块

    1、lxml-3.8.0.tar.gz (XML处理库

    2、Twisted-17.5.0.tar.bz2 (用Python编写的异步网络框架)

    3、Scrapy-1.4.0.tar.gz (高级web爬行和web抓取框架)

    4、pyOpenSSL-17.2.0.tar.gz (OpenSSL库)

    5、queuelib-1.4.2.tar.gz (Queuelib是用于Python的持久(基于磁盘的)队列的集合)

    6、w3lib-1.17.0.tar.gz (与web相关的函数的Python库)

    7、cryptography-2.0.tar.gz (密码学是一种包)

    8、pyasn1-0.2.3.tar.gz (ASN类型和编解码器)

    9、pyasn1-modules-0.0.9.tar.gz (ASN的集合。基于协议模块)

    10、cffi-1.10.0.tar.gz (用于Python调用C代码的外部函数接口)

    11、asn1crypto-0.22.0.tar.gz (快速的ASN一个解析器和序列化器)

    12、idna-2.5.tar.gz (应用程序中的国际化域名(IDNA))

    13、pycparser-2.18.tar.gz (C解析器在Python中)

    测试是否安装成功

    在cmd终端,运行python

    然后运行:import scrapy  ,没有提示错误说明安装成功

  • 相关阅读:
    RabbitMq安装笔记
    SpringBoot笔记--Jackson
    SpringBoot笔记--FastJson
    由一个“两次请求”引出的Web服务器跨域请求访问问题的解决方案
    转:SpringMVC之类型转换Converter(GenericConverter)
    npm 命令
    数据分页技巧
    Mongo 开发笔记
    Android 开发
    Bash 笔记
  • 原文地址:https://www.cnblogs.com/meng-wei-zhi/p/8182456.html
Copyright © 2020-2023  润新知