• 防止 Selenium 被检测出来,解决方法


    import time
    from selenium.webdriver import Chrome
    from selenium.webdriver.chrome.options import Options
    
    chrome_options = Options()
    chrome_options.add_argument("--headless")
    chrome_options.add_argument("--disable-blink-features=AutomationControlled") chrome_options.add_argument(
    'user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36') driver = Chrome('C:Program FilesGoogleChromeApplicationchromedriver.exe', options=chrome_options) """目前网上的反检测方法几乎都是掩耳盗铃,因为模拟浏览器有几十个特征可以被检测,仅仅隐藏 webdriver 这一个值是没有任何意义的。""" # Selenium在打开任何页面之前,先运行这个Js文件。 with open('C:Program Filesstealth.min.js') as f: js = f.read() driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", { "source": js }) driver.get('https://bot.sannysoft.com/') time.sleep(2) # driver.save_screenshot('walkaround.png') """只要driver不断开,是一直可以用的""" # 你可以保存源代码为 html 再双击打开,查看完整结果 source = driver.page_source with open('result.html', 'w') as f: f.write(source)

    Chrome 88版本,stealth.min.js文件,已经无法正确隐藏window.navigator.webdriver,解决办法:
      在使用 Selenium 调用 Chrome 的时候,只需要增加一个配置参数:chrome_options.add_argument("--disable-blink-features=AutomationControlled")就可以再次隐藏window.navigator.webdriver 了。

    注:stealth.min.js这个文件网上有 自行百度下载

  • 相关阅读:
    mysql修改数据库的存储引擎(InnoDB)
    如何查看进程/服务是否启动
    Spark Streaming 入门
    Graphlab create的基本使用
    构建房屋预测回归模型
    构建应用深层特征的图像检索系统
    构建商品评价的分类器
    Elastic Static初识(01)
    《Linux就该这么学》笔记(二)
    《Linux就该这么学》笔记(一)
  • 原文地址:https://www.cnblogs.com/loren880898/p/14119457.html
Copyright © 2020-2023  润新知