随着现在对数据的重视程度越来越高,现在各大网站都加强了反爬技术,比如本文中js加密
url地址:https://www.huanhuanhuishou.com/gujia/22201.html
需要爬取的数据是最高的回收价格:14760
经过分析这个数据是ajax发送请求getEvaluateData?goods_id=22201 goods_id是商品的id GET请求
请求服务器返回的数据是经过加密后的数据
通过对url的监听找到发送请求的ajax
上面的这个jsonCall,封装了ajax请求的方法,将这个文件中对应的js方法拷贝到huanhuan.js中,通过execjs调用node的v8引擎(提前安装node),执行js的代码
最后返回的就是加密后的数据
完整的代码在git上:https://github.com/zhongshuiping/-