• Python爬虫连载14-动态HTML、PhantomJS和Chromedriver


    一、动态HTML

    1.爬虫跟反爬虫

    2.动态HTML连载

    (1)JavaScript

    (2)jQuery

    (3)Ajax

    (4)DHTML

    (5)Python采集动态数据

    从JavaScript代码入手采集​;Python第三方库运行JavaScript,直接采集你在浏览器中看到的页面

    二、Selenium + PhantomJS

    1.Selenium:web自动化测试工具

    (1)​自动加载页面;(2)​获取数据;(3)截屏

    ​(4)官方文档:http://selenium-python.readthedocs.io/index.html

    2.PhantomJS

    (1)基于WebKit的无界面的浏览器

    (2)​官方网站:http://phantomjs.org/download.html

    3.Selenium库有一个WebDriver的API

    4.WebDriver可以跟页面上的元素进行各种交互,用它可以来进行爬取

    """

    通过webdriver操作模拟进行查找

    """

    from selenium import webdriver

    import time

    #通过keys模拟键盘

    from selenium.webdriver.common.keys import Keys

    #操作哪个浏览器就对哪个浏览器建立一个实例

    #自动按照环境变量查找相应的浏览器

    driver = webdriver.PhantomJS()#这个就是浏览器的实例

    #如果浏览器没有相应的环境浏览器,需要指定浏览器位置

    driver.get("http://www.baidu.com")#去访问这个网站,然后获取返回的数据

    #通过函数查找title标签

    print("Title:{0}".format(driver.title))

    5.Chrome + Chromedriver

    下载Chrome​:下载和安装

    Chromdriver​安装

    五、源码

    Reptile14_1_DHTML.py

    https://github.com/ruigege66/PythonReptile/blob/master/Reptile14_1_DHTML.py

    2.CSDN:https://blog.csdn.net/weixin_44630050

    3.博客园:https://www.cnblogs.com/ruigege0000/

    4.欢迎关注微信公众号:傅里叶变换,个人公众号,仅用于学习交流,后台回复”礼包“,获取大数据学习资料

     

  • 相关阅读:
    2019 年百度之星—初赛一 B题 Game
    蒲公英
    集训队8月17日
    CodeForces 550E Brackets in Implications 推理
    11076: 小P的集合 位运算
    树状数组区间修改版本模板
    Contest1692
    POJ
    树状数组进阶-区间修改+区间查询
    具体数学-第二章-和式
  • 原文地址:https://www.cnblogs.com/ruigege0000/p/12490115.html
Copyright © 2020-2023  润新知