• 爬取百度网盘资源报user is not authorized, hitcode:119


    爬取百度网盘资源报user is not authorized, hitcode:119

    一、总结

    一句话总结:

    可能是百度网盘禁止非客户端环境下载大文件,所以将请求头改为客户端:'User-Agent': 'netdisk;8.2.0;android-android;4.4.4'

    不知道什么时候开始,百度网盘禁止非客户端环境下载大文件。

    所以爬取内容时,将User-Agent修改

    本来你请求头中的User-Agent是这么写的

    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36

    现在修改为

    'User-Agent': 'netdisk;8.2.0;android-android;4.4.4'

    再试试说不定就可以了。

    二、爬取百度网盘资源报user is not authorized, hitcode:119

    转自或参考:爬取百度网盘资源报user is not authorized, hitcode:119
    https://blog.csdn.net/wuhaibin12/article/details/85007379

     

    对于小于100M的文件,在抓包得到下载连接后可以直接开始爬取内容。

    对于大于100M的文件,爬取时会得到user is not authorized, hitcode:119的返回值。

    不知道什么时候开始,百度网盘禁止非客户端环境下载大文件。

    所以爬取内容时,将User-Agent修改

    本来你请求头中的User-Agent是这么写的

    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36

    现在修改为

    'User-Agent': 'netdisk;8.2.0;android-android;4.4.4'

    再试试说不定就可以了。

     
     
  • 相关阅读:
    Eclipse “cannot be resolved to a type” error
    Hadoop作业提交分析(三)
    Hadoop作业提交分析(五)
    Hadoop作业提交分析(一)
    An Idiot Computer Story
    基于ASP.NET的comet简单实现
    火车票余票查询小助手(windows 7 gadget)
    Div+CSS+JQuery轻松实现选项卡"选项卡"
    jQuery+Div Simple menu
    Visual Studio 2010 cannot goto definition
  • 原文地址:https://www.cnblogs.com/Renyi-Fan/p/11609275.html
Copyright © 2020-2023  润新知