• python3.6安装Scrapy


    环境:win10(64位), Python3.6(64位)

    1、安装pyhthon

    这个就不多说了,对应版本就下载对应的依赖包

    2、安装pywin32

    在windows下,必须安装pywin32,安装地址:http://sourceforge.net/projects/pywin32/

    下载对应版本的pywin32,直接双击安装即可,安装完毕之后验证:

    (注意:pywin32版本跟随Python版本,即如果win是64位,但python是32位,pywin32要装32位的)

    安装pywin32需要把Python的路径写入注册表中,运行下面脚本:

    # -*- coding: utf-8 -*-
    # Run from the command window (Run as Administrator!):
    # python registerPython.py
    
    # script to register Python 2.0 or later for use with win32all
    # and other extensions that require Python registry settings
    #
    # written by Joakim Löw for Secret Labs AB / PythonWare
    #
    # source:
    # http://www.pythonware.com/products/works/articles/regpy20.htm
    
    import sys
    
    from _winreg import *
    
    # tweak as necessary
    version = sys.version[:3]
    installpath = sys.prefix
    installpath = "D:Program FilesPython36"  # 注意这里是python安装路径
    
    regpath = "SOFTWARE\Python\Pythoncore\%s\" % (version)
    installkey = "InstallPath"
    pythonkey = "PythonPath"
    pythonpath = "%s;%s\Lib\;%s\DLLs\" % (
        installpath, installpath, installpath
    )
    
    def RegisterPy():
        try:
            reg = OpenKey(HKEY_LOCAL_MACHINE, regpath)
        except EnvironmentError:
            try:
                print("No Key Found, attempting to register")
                reg = CreateKey(HKEY_LOCAL_MACHINE, regpath)
                SetValue(reg, installkey, REG_SZ, installpath)
                SetValue(reg, pythonkey, REG_SZ, pythonpath)
                CloseKey(reg)
            except:
                print("*** Unable to register!")
                return
            print("--- Python", version, "is now registered!")
            return
        if (QueryValue(reg, installkey) == installpath and
            QueryValue(reg, pythonkey) == pythonpath):
            CloseKey(reg)
            print("=== Python", version, "is already registered!")
            return
        CloseKey(reg)
        print("*** Unable to register!")
        print("*** You probably have another Python installation!")
    
    if __name__ == "__main__":
        RegisterPy()
    pythonregistry.py

    我在装pywin32的时候出现个很蛋疼的情况,我先下载了64位的,安装提示'python 3.6-32'注册表未找到,试了下装32位的竟然成功了(明显是不能用,蛋碎一地-,-)。

    后来发现问题,64位的提示的是‘Python 3.6-32’,有没有发现什么? ‘36-32’!!!so,我把注册表里python下面的3.6直接改名成3.6-32,安装成功...

    3、安装pip

    常识,不多说了,上篇有提到

    4、安装pyOPENSSL

    在Windows下,是没有预装pyOPENSSL的

    安装地址:https://launchpad.net/pyopenssl

    (可以直接pip安装,但版本不一定新,如果不行再上官网)

    5、安装lxml

    解析XML的库,很强大,做爬虫BS4,selenium,XPATH都会用到

    直接pip安装

    pip install lxml

    6、安装Twisted

    这个其实在安装Scrapy的时候会自动安装,但是他需要visual C++ Build Tools 2015,无奈网速不给力实在下不下来,所以自己安装了

    网址:http://www.lfd.uci.edu/~gohlke/pythonlibs/,这里是已经编译好的,可以直接pip安装(需要wheel)

    7、安装Scrapy

    终于在最后一步,折腾了一晚上....

    pip install Scrapy

    so easy 是不是=.=

    pip 会另外下载其他依赖的包,这些就不要我们手动安装啦,等待一会,大功告成!

     

    最后验证一下,命令行下输入:Scrapy

    打完收功==!

  • 相关阅读:
    【如何使用翻译工具翻译网页】英语没过关的可以参考下。
    HTTP 请求报文和响应报文
    VIM+ctags+cscope用法
    Ubuntu下命令行访问网站
    mini_httpd的安装和配置
    堆排序(代码2)
    插入排序
    堆排序(代码1)
    快速排序
    Python中的控制流
  • 原文地址:https://www.cnblogs.com/thunderLL/p/6523802.html
Copyright © 2020-2023  润新知