• 爬虫 02


    一.代理ip

    1.代理ip的级别
        (1)透明          别人知道你使用的是代理ip,也知道你的真实ip
        (2)匿名代理      别人知道你使用的是代理ip,但不知道你的真实ip
        (3)高度匿名代理   别人不知道你使用的是代理ip,也不知道你的真实ip
    2.代理的分类.
        (1)正向代理: 代理客户端获取数据,正向代理为了保护客户端不被追究责任.
        (2)反向代理: 代理服务端提供数据,反向代理为了保护服务端和负责负载均衡
    3.常见的代理ip网站
        (1)www.gaobanjia.com
        (2)https://www.xicidaili.com/ 
        (3)快代理
    4.使用代理的参数
        
     

    二.PhantomJS 和谷歌无界面浏览器配置

    1.PhantomJS是一款无界面的浏览器,其自动化操作流程和上述操作谷歌浏览器是一致的。由于是无界面的,为了能够展示自动化操作流程,PhantomJS为用户提供了一个截屏的功能,使用save_screenshot函数实现。
    2.谷歌无界面浏览器的配置
    from selenium.webdriver.chrome.options import Options
    chrome_options = Options()
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--disable-gpu')
  • 相关阅读:
    ZOJ 4097 Rescue the Princess
    最大值最小化 最小值最大化
    SD第九届省赛B题 Bullet
    Euler Circuit UVA
    bzoj 1878
    随笔
    BZOJ
    主席树模板
    AC自动机模板
    BZOJ
  • 原文地址:https://www.cnblogs.com/hu13/p/9264206.html
Copyright © 2020-2023  润新知