• python3.6安装Scrapy


    环境:win10(64位), Python3.6(64位)

    1、安装pyhthon

    这个就不多说了,对应版本就下载对应的依赖包

    2、安装pywin32

    在windows下,必须安装pywin32,安装地址:http://sourceforge.net/projects/pywin32/

    下载对应版本的pywin32,直接双击安装即可,安装完毕之后验证:

    (注意:pywin32版本跟随Python版本,即如果win是64位,但python是32位,pywin32要装32位的)

    安装pywin32需要把Python的路径写入注册表中,运行下面脚本:

    # -*- coding: utf-8 -*-
    # Run from the command window (Run as Administrator!):
    # python registerPython.py
    
    # script to register Python 2.0 or later for use with win32all
    # and other extensions that require Python registry settings
    #
    # written by Joakim Löw for Secret Labs AB / PythonWare
    #
    # source:
    # http://www.pythonware.com/products/works/articles/regpy20.htm
    
    import sys
    
    from _winreg import *
    
    # tweak as necessary
    version = sys.version[:3]
    installpath = sys.prefix
    installpath = "D:Program FilesPython36"  # 注意这里是python安装路径
    
    regpath = "SOFTWARE\Python\Pythoncore\%s\" % (version)
    installkey = "InstallPath"
    pythonkey = "PythonPath"
    pythonpath = "%s;%s\Lib\;%s\DLLs\" % (
        installpath, installpath, installpath
    )
    
    def RegisterPy():
        try:
            reg = OpenKey(HKEY_LOCAL_MACHINE, regpath)
        except EnvironmentError:
            try:
                print("No Key Found, attempting to register")
                reg = CreateKey(HKEY_LOCAL_MACHINE, regpath)
                SetValue(reg, installkey, REG_SZ, installpath)
                SetValue(reg, pythonkey, REG_SZ, pythonpath)
                CloseKey(reg)
            except:
                print("*** Unable to register!")
                return
            print("--- Python", version, "is now registered!")
            return
        if (QueryValue(reg, installkey) == installpath and
            QueryValue(reg, pythonkey) == pythonpath):
            CloseKey(reg)
            print("=== Python", version, "is already registered!")
            return
        CloseKey(reg)
        print("*** Unable to register!")
        print("*** You probably have another Python installation!")
    
    if __name__ == "__main__":
        RegisterPy()
    pythonregistry.py

    我在装pywin32的时候出现个很蛋疼的情况,我先下载了64位的,安装提示'python 3.6-32'注册表未找到,试了下装32位的竟然成功了(明显是不能用,蛋碎一地-,-)。

    后来发现问题,64位的提示的是‘Python 3.6-32’,有没有发现什么? ‘36-32’!!!so,我把注册表里python下面的3.6直接改名成3.6-32,安装成功...

    3、安装pip

    常识,不多说了,上篇有提到

    4、安装pyOPENSSL

    在Windows下,是没有预装pyOPENSSL的

    安装地址:https://launchpad.net/pyopenssl

    (可以直接pip安装,但版本不一定新,如果不行再上官网)

    5、安装lxml

    解析XML的库,很强大,做爬虫BS4,selenium,XPATH都会用到

    直接pip安装

    pip install lxml

    6、安装Twisted

    这个其实在安装Scrapy的时候会自动安装,但是他需要visual C++ Build Tools 2015,无奈网速不给力实在下不下来,所以自己安装了

    网址:http://www.lfd.uci.edu/~gohlke/pythonlibs/,这里是已经编译好的,可以直接pip安装(需要wheel)

    7、安装Scrapy

    终于在最后一步,折腾了一晚上....

    pip install Scrapy

    so easy 是不是=.=

    pip 会另外下载其他依赖的包,这些就不要我们手动安装啦,等待一会,大功告成!

     

    最后验证一下,命令行下输入:Scrapy

    打完收功==!

  • 相关阅读:
    Android 中Base64的操作
    android 异步图片处理 工具类
    android 跨应用跳转 启动其他应用指定界面
    C++代码案例
    Android 中 Base64的操作应用
    Python基础笔记1
    [linux] 大批量删除任务
    Python基础笔记3
    [R] 如何快速生成许多差异明显的颜色?
    Python基础笔记4
  • 原文地址:https://www.cnblogs.com/thunderLL/p/6523802.html
Copyright © 2020-2023  润新知