• requests-html的安装与使用


    使用requests-html单一库完成简书首页获取(包含请求、解析、JavaScript渲染功能)

    一:安装

    sudo pip install requests-html

    # -*- coding: utf-8 -*-
    import requests_html
    
    
     
    text_url = 'https://music.line.me/album/mb00000000012ac6c9' 
    user_agent = requests_html.user_agent()
    print("User-Agent:",user_agent) 
    session = requests_html.HTMLSession()
    headers = {
        "User-Agent":user_agent
    } 
    r = session.get(text_url,headers=headers) 
    r.html.render(sleep=1)
    print(r.html.html)  

    r.html.render() 在初次使用该功能的时候会自动下载支持包:Chromium,但是由于国内网网络的原因,异常慢,基本失败,需要改写下载源,找到python3里的Pyppeteer的chromium_downloader.py里的下载路径,在http://npm.taobao.org/mirrors/chromium-browser-snapshots/Linux_x64/上面找最新的路劲写上,shell界面输入pyppeteer-install进行安装。

    二、使用

    更多使用以后在记录,本次着重把它跑通即可。

    requeests_html报错pyppeteer.errors.BrowserError: Browser closed unexpectedly:解决办法

    这个一般是环境问题,ubuntu运行以下代码试下

    sudo apt-get install  gconf-service libasound2 libatk1.0-0 libatk-bridge2.0-0 libc6 libcairo2 libcups2 libdbus-1-3 libexpat1 libfontconfig1 libgcc1 libgconf-2-4 libgdk-pixbuf2.0-0 libglib2.0-0 libgtk-3-0 libnspr4 libpango-1.0-0 libpangocairo-1.0-0 libstdc++6 libx11-6 libx11-xcb1 libxcb1 libxcomposite1 libxcursor1 libxdamage1 libxext6 libxfixes3 libxi6 libxrandr2 libxrender1 libxss1 libxtst6 ca-certificates fonts-liberation libappindicator1 libnss3 lsb-release xdg-utils wget
    

      

  • 相关阅读:
    mysql优化思路
    mysql列类型选择
    mysql 多列索引的生效规则
    Myisam索引和Innodb索引的区别
    mysql创建远程用户并授权
    mysql 索引长度和区分度
    php 内存共享shmop源码阅读
    短链接系统的算法原理
    PHP die与exit的区别
    MySQL建立外键(Foreign Key)
  • 原文地址:https://www.cnblogs.com/lingwang3/p/13188582.html
Copyright © 2020-2023  润新知