之前一直在纠结怎么绕过,知道看到这位大佬写的,阅读数少的可怜,转载一下让更多人看到
https://www.cnblogs.com/presleyren/p/12936553.html
但是大佬的这个方法还是存在一些问题的
我测试了一下其实网站后台可能还是会将你识别为爬虫导致一些翻页操作无法执行,或者执行后不产生任何变化,这多半还是被识别出来了,或者后台识别不到游览器就认定爬虫
对大佬的代码做上一些修改
browser = webdriver.Chrome()#options=options browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", { "source": """ Object.defineProperty(navigator, 'webdriver', { get: () => Chrome }) """ })
我们将get:()=>后改为Chrome这样可以规避跟多的检测,实测有效,可以规避更多的检测
前提是用Chrome