最近在爬几个电商平台网站用的selenium一登录就会有验证,目前这些网站对selenium检测很严格
因为不少大网站有对selenium的js监测机制。比如
美团,大众,淘宝这些大站点都有这种技术能力。正常情况下
navigator.webdriver
,navigator.languages
,navigator.plugins.length
,美团,大众,淘宝这些大站点都有这种技术能力。正常情况下
window.navigator.webdriver
的值为undefined
。而当我们使用selenium
的时候-window.navigator.webdriver
的值为True
。 如下图
pyppeteer
中文翻译是:木偶
文档说明:
---https://github.com/GoogleChrome/puppeteer/blob/master/docs/api.md
与selenium对比
selenium,不过是在服务器在第一次发送js并在本地验证的时候,做好‘第一次’的伪装,从而实现‘第一次登陆’有效
pyppeteer 加 asyncio 绕过selenium检测,实现鼠标滑动后自动登陆(代码很简单。主要熟悉异步模块及pyppeteer模块)
爬某宝栗子:
与selenium对比 可以进行输入框 但是再往下,还是要登录验证 , 遂问题并没有解决,但是相对selenium 还是有一定优势 ,先记录一下