近期由于公司资源需要，我爬取了一个视频网站，结果以为一个很容易的小爬虫，却步步是坑啊，费了一天终于都解决了（太菜了！！！）。
前面导航页的爬虫就不多说了，无非就是webdriver和PhantomJS,然后设置referer和ua，就可以一层一层访问了。其实大多数的网站的防爬都会这么做。
然后到了详情页面，就是我遇到的最困难的一步了。网站为了防止爬虫，嵌套了3层iframe，并且每个iframe都有很多限制，单独打开无法得到想要的数据。
但是PhantomJS获取到的网站源码即使是js加载完成以后的源码也是无法得到iframe里面的源码的，在网上找了很多方法，然后终于找到了方法。
driver.get(url)
iframe = driver.find_elements_by_tag_name('iframe')[1]
driver.switch_to.frame(iframe) # 最重要的一步
soup = BeautifulSoup(driver.page_source, "html.parser")
1
2
3
4
最主要的就是driver.switch_to.frame(iframe) 这个方法，它会尽到iframe里面去执行，这样的话就不需要你在去设置referer之类的了，很方便的就访问了。到这一步大多数的iframe里面的东西就可以取到了。
但是！！！这个网站防爬还是做的比较不错了，iframe里面的数据还是获取不到视频的源，js代码都执行了。没办法了，最后使用webdriver.Chrome方法才获取到了数据。看来PhantomJS还是有一些功能限制啊。
每次访问不能一直打开浏览器呀，这样在服务器也无法实现，幸好webdriver.Chrome还提供方法实现无窗口访问，代码就是这样的：
chrome_options = Options()
chrome_options.add_argument('--headless')
driver = webdriver.Chrome('/usr/local/Sunanang/chromedriver/chromedriver',
chrome_options=chrome_options)
1
2
3
4
到此，基本的功能也实现了。
具体实现代码如下：
# -*- coding: utf-8 -*-
from selenium import webdriver
from bs4 import BeautifulSoup
from selenium.webdriver.chrome.options import Options
import sys
from pyvirtualdisplay import Display
chrome_options = Options()
chrome_options.add_argument('--headless')
driver = webdriver.Chrome('/usr/local/Sunanang/chromedriver/chromedriver',
chrome_options=chrome_options)
def getDriverHttp(url):
driver.get(url)
iframe = driver.find_elements_by_tag_name('iframe')[1]
driver.switch_to.frame(iframe) # 最重要的一步
soup = BeautifulSoup(driver.page_source, "html.parser")
return soup
def getVideoUrl(url):
soup = getHttp(url)
miPlayer = soup.find('div',id='J_miPlayer')
url = miPlayer.find('video').get('src')
driver.quit()
return url
if __name__ == '__main__':
path = getVideoUrl(u'http://aaxxy.com/vod-play-id-10788-src-1-num-2.html')
# path = getVideoUrl(url==sys.argv[1])
print path
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
最后才发现代码真的非常非常少，结果费了一天的功夫才解决。记录一下，提醒一下自己有多菜。
---------------------
作者：Sunanang
来源：CSDN
原文：https://blog.csdn.net/sun_lianqiang/article/details/79402512
版权声明：本文为博主原创文章，转载请附上博文链接！