• 使用pyppeteer 下载chromium 报错 或速度慢


    一、概述

    使用Reuqests-html的render函数,它会在用户目录(默认是~/.pyppeteer/)中下载一个chromium,然后用它来执行JS代码。

    执行之后,会下载chromium 

    [W:pyppeteer.chromium_downloader] start chromium download.
    Download may take a few minutes.

    但是速度特别慢,几个小时都不一定能好。长时间允许会导致连接失败。

    二、手动下载chromium

    创建一个.py 文件 粘贴以下内容

    import pyppeteer.chromium_downloader
    print('默认版本是:{}'.format(pyppeteer.__chromium_revision__))
    print('可执行文件默认路径:{}'.format(pyppeteer.chromium_downloader.chromiumExecutable.get('win64')))
    print('win64平台下载链接为:{}'.format(pyppeteer.chromium_downloader.downloadURLs.get('win64')))

    执行输出:

    默认版本是:588429
    可执行文件默认路径:C:UsersxiaoAppDataLocalpyppeteerpyppeteerlocal-chromium588429chrome-win32chrome.exe
    win64平台下载链接为:https://storage.googleapis.com/chromium-browser-snapshots/Win_x64/588429/chrome-win32.zip

    注意:输出结果,可能和我的不一样,请根据实际情况来。

    将上面的复制一下,使用迅雷下载,大概有130M,几分钟就下载好了。

    将下载好的chrome-win32.zip解压,得到chrome-win32目录

    注意:上面的路径:C:UsersxiaoAppDataLocalpyppeteerpyppeteerlocal-chromium588429

    是不存在的,需要自己手动创建一下。其实只需要创建588429即可。

    将chrome-win32目录复制到588429里面即可。

    最终只要:

    C:UsersxiaoAppDataLocalpyppeteerpyppeteerlocal-chromium588429chrome-win32chrome.exe

    存在即可

    最后再次执行你的爬虫程序,就不会提示下载chromium了

    本文参考链接:

    https://www.jianshu.com/p/1c4666b0a830

  • 相关阅读:
    Windows 获取unix timestamp
    SQL Server 2008 R2:快速清除日志文件的方法
    mysql lost connection to server during query
    jquery 隐藏 显示 动画效果
    session
    javaScript日期
    路径惹的祸
    Declaration terminated incorrectly 讨厌 这样就不可以了
    jsp 调用其他jsp页面 跳转
    SQL 2008 启用和禁用xp_cmdshell
  • 原文地址:https://www.cnblogs.com/xiao987334176/p/13661823.html
Copyright © 2020-2023  润新知