• python爬虫相关库安装


    python爬虫涉及的库:

    请求库,解析库,存储库,工具库

    1. 请求库:urllib/re/requests

    (1) urllib/re是python默认自带的库,可以通过以下命令进行验证:

    没有报错信息输出,说明环境正常

    (2) requests安装

    2.1 打开CMD,输入

    pip3 install requests

    2.2 等待安装后,验证

    (3) selenium安装(驱动浏览器进行网站访问行为)

    3.1 打开CMD,输入

    pip3 install selenium

    3.2 安装chromedriver

    网址:https://npm.taobao.org/

    把下载完成后的压缩包解压,把exe放到D:Python3.6.0Scripts

    这个路径只要在PATH变量中就可以

    3.3 等待安装完成后,验证

    回车后弹出chrome浏览器界面

    3.4 安装其他浏览器

    无界面浏览器phantomjs

    下载网址:http://phantomjs.org/

    下载完成后解压,把整个目录放到D:Python3.6.0Scripts,把bin目录的路径添加到PATH变量

    验证:

    打开CMD

    phantomjs
    console.log('phantomjs')
    
    CTRL+C
    
    python
    from selenium import webdriver
    driver = webdriver.PhantomJS()
    dirver.get('http://www.baidu.com')
    driver.page_source

    2. 解析库:

    2.1 lxml (XPATH)

    打开CMD

    pip3 install lxml

    或者从https://pypi.python.org下载,例如,lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5) ,先下载whl文件

    pip3 install 文件名.whl

    2.2 beautifulsoup

    打开CMD,需要先安装好lxml

    pip3 install beautifulsoup4

    验证

    python
    from bs4 import BeautifulSoup
    soup = BeautifulSoup('<html></html>','lxml')

    2.3 pyquery(类似jquery语法)

    打开CMD

    pip3 install pyquery

    验证安装结果

    python
    from pyquery import PyQuery as pq
    doc = pq('<html>hi</html>')
    result = doc('html').text()
    result

    3. 存储库

    3.1 pymysql(操作MySQL,关系型数据库)

    安装:

    pip3 install pymysql

    安装后测试:

    3.2 pymongo(操作MongoDB,key-value)

    安装

    pip3 install pymongo

    验证

    python
    import pymongo
    client = pymongo.MongoClient('localhost')
    db = client['testdb']
    db['table'].insert({'name':'bob'})
    db['table'].find_one({'name':'bob'})

     

    3.3 redis(分布式爬虫,维护爬取队列)

    安装:

    pip3 install redis

    验证:

    4.工具库

    4.1 flask(WEB库)

    pip3 install flask

    4.2 Django(分布式爬虫维护系统)

    pip3 install django

    4.3 jupyter(运行在网页端的记事本,支持markdown,可以在网页上运行代码)

    pip3 install jupyter

     验证:

    打开CMD

    jupyter notebook

    之后就可以在网页直接创建记事本,代码块和Markdown块,支持打印

  • 相关阅读:
    自定义注解!绝对是程序员装逼的利器!!
    mybatis连接数据库错误解决方法
    SQL基础
    【2021-1-5】QT+SQLsever数据库的数据管理系统
    以友盟+U-Push为例,深度解读消息推送的筛选架构解决方案应用与实践
    基于Linux的MySQL基本操作
    SQL server函数转Oracle问题之一,强行使用临时表
    安装 部署 postgresql数据库 搭建主从节点 (业务库)
    SQL练习题一(逐行累计)
    ThinkPHP中,display和assign用法详解
  • 原文地址:https://www.cnblogs.com/copywang/p/7832527.html
Copyright © 2020-2023  润新知