• selenium 页面加载慢,超时的解决方案


    from selenium import webdriver
    driver=webdriver.Chrome()
    driver.set_page_load_timeout(5)
    driver.set_script_timeout(5)#这两种设置都进行才有效
    

      

    try:
        d.get(s)
    except:
        d.execute_script('window.stop()')#这句话好像没什么软用
    

      

    可以在页面停止加载后继续操作了

    driver.set_page_load_timeout(5)这玩意一设置,没问题,5秒后网页确实停止了,但是driver也死了,不管运行什么都是timeout,还说try一下,driver是死透了,只能重新来
    不知道是selenium更新了还是他自己没测试还是chrome更新了,现在这么设置就是找死的

    注意:使用set_page_load_timeout时候,当页面未加载出任何东西的时候(往往是html源码未加载),因为超时而停止,会导致driver失效,
    后面的driver都不能操作,所以超时设置应该至少保证页面内容加载出来一部分,设置超时不宜过短,如下图在页面此种状态下停止加载后driver失效。

    不错,是有人也说了,不能设置太短,会失效,但是我可以说,你设置5分钟照样失效,只要超时一次,driver就完蛋,直接翻车

    接下来是另一个方法
    # coding = utf-8
    from selenium import webdriver
    from selenium.webdriver.support.wait import WebDriverWait
    import time
    
    driver = webdriver.Chrome()
    class button():
        def __call__(self, driver):
            if driver.find_element_by_id('js_love_url'):
                return True
            else:
                return False 
    
    driver.implicitly_wait(60)
    time_start = time.time()
    driver.get('https://www.163.com/')
    
    # driver.find_element_by_id('js_love_url').click()
    WebDriverWait(driver,2,0.5).until(button()) 
    time_end = time.time()
    print('access time is : ', time_end - time_start)
    time.sleep(2)
    driver.quit()
    

      

    用WebDriverWait进行操作,不过我测试下来,driver.get()不执行完,下面的代码根本就不会执行,所以还是不行

    找了各种方法,各种操作,都失败了,总算今天找到了正确的方法

    原理非常简单:driver.get()这个操作,改成不阻塞的就行了,这样打开网页就操作完成了,不需要等他加载

    下面我可以直接等待需要的元素出现即可进行操作

     配置也是很简单

    from selenium import webdriver
    from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
    
    
    #get直接返回,不再等待界面加载完成
    desired_capabilities = DesiredCapabilities.CHROME
    desired_capabilities["pageLoadStrategy"] = "none"driver = webdriver.Chrome(executable_path='chromedriver.exe')
    

      

    配置一个参数,就是页面加载策略,系统默认是等待,就是等他加载完,直接设置成none,就是不等待,这样就是get操作完后直接就是结束了

    不影响下面的操作,这样就可以愉快的玩耍了

  • 相关阅读:
    区块链共识算法整理
    用Python实现GBDT算法并处理Iris数据集
    用Python实现岭回归算法与Lasso回归算法并处理Iris数据集
    软件体系结构结课报告
    用Python实现支持向量机并处理Iris数据集
    HTML标签(三)
    HTML标签(二)
    HTML标签(一)
    HTML简介
    开始。
  • 原文地址:https://www.cnblogs.com/microtiger/p/13737948.html
Copyright © 2020-2023  润新知