• 20190603 (一)安装Scrapy的环境


    题外话:

    今天有人说我像一只咸鱼,我承认我已经变成了咸鱼,那么又有人问我了“咸鱼翻身” 是什么意思

    我答:“为了晒得更均匀”   -- 哎,已经很黑,不想再黑

    第一步:

    安装beautifulsoup  前提,你的系统支持pip安装方式 否则去百度 (我好像之前也写过,忘记了)

    一个警告Pycharm 工具中

    原因是

    此段:from_encoding="utf-8"

    是多余的,删除后,执行就没有警告

    上面是,没有用框架的请求-获取-解析-打印,可以百度出一堆代码,就是没得详细的部分

    第三方包

    Urllib Urllib2有什么区别

    urlliburllib2

    urllib urllib2都是接受URL请求的相关模块,但是urllib2可以接受一个Request类的实例来设置URL请求的headersurllib仅可以接受URL

    这意味着,你不可以伪装你的User Agent字符串等。

    urllib提供urlencode方法用来GET查询字符串的产生,而urllib2没有。这是为何urllib常和urllib2一起使用的原因。

    目前的大部分http请求都是通过urllib2来访问的

     

    httplib

    httplib实现了HTTPHTTPS的客户端协议,一般不直接使用,在python更高层的封装模块中(urllib,urllib2)使用了它的http实现。

    这里会出现用python3 安装Urllib2 ,因为你需要模仿用户访问

    还有一个Urllib4,5 我没试,我把Urllib3 安装了一下

    安装的时候就会提示你找不到

    不能用2 那你就用3

    安装Urllib3

    更换了一个工具采用了VS2019社区版

    反正都安装不了urllib2   -- 难过了

    安装一个自动测试包

    pip install selenium

    失败

    换了个方式下载了.whl文件,安装

    这样就可以了,是不是我的网有问题?

    首先scrapy的安装之前需要安装这个模块:wheellxmlTwistedpywin32,最后在安装scrapy

    慢慢安装了

    为什么要用框架呢,因为很多东西都写好了,我懒

    安装Twisted 东西的时候提示出了一个c++的错误,没事的,我安装vs的时候把c++ 扩展需要的东西更新了一下,再次安装Twisted  就可以通过了(怎么更新不用我再写了吧)  汗。。。

     (反正安装VS2019的更新需要时间,耐心了)

    OK了,基本环境安装好了

    也许并不是你需要的内容,这只是我人生的一些痕迹. -- soar.pang
  • 相关阅读:
    用动画切换按钮的状态
    用UICollectionView实现无限轮播图
    水平方向瀑布流
    UICollectionViewFlowLayout使用示例
    旋转木马效果
    Greenplum集群或者Postgresql出现死锁肿么办?
    Lucene的全文检索学习
    Jms规范学习
    Nginx的相关问题
    keepalived+Nginx实现主备保障Nginx的高可用。
  • 原文地址:https://www.cnblogs.com/Soar-Pang/p/10968464.html
Copyright © 2020-2023  润新知