• Htmlunit 设置缓存文件


    起因:最近用Htmlunit爬取网页。demo运行起来后,发现速度相当慢,一直在不停的加载js文件,偶尔还会报错,js超时等。抓包工具看了一下请求,发现一直在不停的下载js文件。按理说请求过js文件后,本地是会缓存这些文件的。避免再次从服务器下载,增加服务器压力和降低客户端页面加载速度。由此便开始大量的百度,寻求解决方案。一番操作下来,千篇一律的配置文章看了几十个,但是还是没解决问题。无奈只能沉下气来,重新审视代码。

    没想到回来看代码,很快便发现WebClient有一个Cache属性,默认size为40。立即debug一下, 发现其实Cache是有存储文件的。那么很明显是请求的js太多了,设置size到合适的数值,重新debug,速度瞬间上来了,js也缓存上了。贴上配置代码:

    1    webClient.getOptions().setActiveXNative(false);
    2    webClient.getOptions().setCssEnabled(false);
    3    webClient.getOptions().setRedirectEnabled(true);
    4    webClient.getOptions().setJavaScriptEnabled(true);
    5    webClient.getOptions().setDoNotTrackEnabled(true);
    6    webClient.getOptions().setThrowExceptionOnScriptError(false);
    7    webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
    8    webClient.getCache().setMaxSize(100);

    若爬取的页面不需要渲染js,可以直接设置如下:

     webClient.getOptions().setJavaScriptEnabled(false);
    直接禁用js。
  • 相关阅读:
    手写token解析器、语法解析器、LLVM IR生成器(GO语言)
    Windows下切分文件(GnuWin32)
    转载:教你分分钟搞定Docker私有仓库Registry
    marathon传参一
    DC/OS安装
    自己写编程语言-m语言
    揽货最短路径解决方案算法
    揽货最短路径解决方案算法
    用keras作CNN卷积网络书本分类(书本、非书本)
    用keras做SQL注入攻击的判断
  • 原文地址:https://www.cnblogs.com/BlueToWhite/p/11812756.html
Copyright © 2020-2023  润新知