问题
今天在使用selenium
+PhantomJS
动态抓取网页时,出现如下报错信息:
UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead warnings.warn('Selenium support for PhantomJS has been deprecated, please use headless '
翻译过来就是:selenium已经放弃PhantomJS,了,建议使用火狐或者谷歌无界面浏览器。
解决办法:
我们就改用 Selenium + Headless Chrome
1.安装Chrome浏览器
2.安装Selenium
pip install selenium
3.安装chromedriver
chromedriver下载地址:
https://sites.google.com/a/chromium.org/chromedriver/downloads (被墙了)
http://npm.taobao.org/mirrors/chromedriver/(可用)
注意 :chromedriver的版本要与你使用的chrome版本对应,对应关系:点击链接
下载完成后:
windows 下,新建一个命名为chromedriver文件夹,将解压的chromedriver.exe放进文件夹,再配置进path环境变量
测试
4.在python代码里面实现自动化工具selenium
from selenium import webdriver def main(): driver = webdriver.Chrome() driver.get("https://www.baidu.com") print(driver.page_source) driver.close()
如果成功的话,会打开chrome浏览器百度首页,并关闭。