• 爬虫常用库的安装


    请求库(requests,selenium)、解析库(beautifulsop)、存储库、工具库等

    urelib   

    re

    上面这两个是python自带的库

    需要自己安装额库:

    (在windows下,使用pip install 命令)

    requests

    selenium用来驱动浏览器,做自动化测试,一些被js渲染的用这个来获取源代码

    phantomjs,无界面浏览器,下载,并将phantomjs.exe配置到环境变量

    lxml,可以用来进行网页的解析

    ------------------------------------

    beautifulsoup,也是一个网页解析库,并且依赖于lxml库,在安装时需要输入pip3 install beautifulsoup4,导入时使用import bs4  

    from bs4 import Beautifulsoup

    -------------------------------------

    pyquery也是一个网页解析库,比beautifulsoup更加方便

    一些存储库:

    pymysql

    pymongo

    redis

    一些工具库

    flask是一个web库,在做一些代理的设置是=时,可  能会用到这个库

    django,一个web服务器框架

    jupyter,可以理解为一个笔记本,但这个笔记本功能比较强,可以在先运行代码,很多功能,用来写代码或者文档记录很方便

    在linux下,使用如下命令即可:

    pip3 install requests selenium beautifulsoup4 puquery pymysql pymongo redis flask django jupyter

    三样东西有助于缓解生命的疲劳:希望、睡眠和微笑。---康德
  • 相关阅读:
    js获取网页屏幕可视区域高度
    vue 一键复制文本内容 clipboard
    uniapp 微信小程序分包优化
    通过vuecli命令行安装uniapp
    微信小程序跳转
    .net session丢失
    验证码识别技术研究(2)
    window环境下安装和卸载服务【转】
    formValidator onshowhtml is not define
    Ajax 跨域请求
  • 原文地址:https://www.cnblogs.com/ronghe/p/9142241.html
Copyright © 2020-2023  润新知