• Scrapy在win7 32位的安装及依赖包


    Scrapy,一个网络爬虫的框架,首先第一步肯定是安装。

    参考网上的文章。

    安装过程中需要用到pip工具,请自行安装。

    1.安装python

    这个是必须的,既然都用到scrapy了,肯定已经安装了python,这个略过。

    2.安装pywin32

    下载地址:http://sourceforge.net/projects/pywin32/files/pywin32/Build%20219/

    根据系统的不同,选择32位或者64位的。然后直接运行下载的exe就行

    3.Visual C++ 2008 Redistributables和Win32OpenSSL_Light-1_0_2a的安装

    下载地址:http://slproweb.com/products/Win32OpenSSL.html

    下载下来exe文件,直接执行安装就可以了。把OpenSSL的bin目录添加到环境变量(C:OpenSSL-Win32)

    4.1.安装twisted依赖zope.interface

    下载地址:https://pypi.python.org/pypi/zope.interface#download

    下载下来是个egg文件,直接安装就可以了。

    4.2.安装twisted依赖pyopenssl

    下载地址:https://www.egenix.com/cryptodownload/?python=2.7+installer&file=egenix-pyopenssl-0.13.8.win32-py2.7.msi

    下载下来是个egg文件,直接安装就可以了。

    4.3.安装twisted依赖安装lxml

    下载地址:https://pypi.python.org/pypi/lxml/

    直接运行下载的exe就行

    5.安装w3lib

    下载地址:https://pypi.python.org/pypi/w3lib#downloads

    下载下来安装包,使用python setup.py install命令进行安装

    6.cssselect

    直接使用pip安装就可以了

    pip install cssselect

    7.安装twisted

    下载地址:http://twistedmatrix.com/trac/wiki/Downloads

    直接运行下载的exe就行

    8.安装service_identity

    下载地址:https://pypi.python.org/pypi/service_identity#downloads

    下载下来安装包,使用python setup.py install命令进行安装

    9.安装cryptography

    下载地址:https://pypi.python.org/pypi/cryptography

    直接使用命令安装下载下拉的whl文件

    10.安装cffi

    下载地址:https://pypi.python.org/pypi/cffi

    直接使用命令安装下载下拉的whl文件

    11.scrapy

    直接使用pip安装就可以了

    pip install scrapy

    最后大功告成,

  • 相关阅读:
    唤醒控件曾经拥有的能力(重新继承是可以使用的.)
    为ASP.NET MVC应用程序创建更复杂的数据模型
    Akka入门实例
    最火的.NET开源项目(转)
    Roslyn 编译平台概述
    C#开发157
    ASP.NET MVC学习之控制器篇
    AngularJS中数据双向绑定(two-way data-binding)
    订单系统中并发问题和锁机制的探讨
    Visual Studio 编辑器
  • 原文地址:https://www.cnblogs.com/liyiran/p/4454891.html
Copyright © 2020-2023  润新知