• 关于selenium添加使用代理ip


    最近在爬某个网站,发现这个网站的反爬太厉害了,正常时候的访问有时候都会给你弹出来验证,验证你是不是蜘蛛,而且requests发的请求携带了请求头信息,cookie信息,代理ip,也能识别是爬虫,他应该是有个ssl证书的机制,即使你关闭了也能检测到,好厉害,所以我就想着双管齐下,你跳出来是验证我就selenium做验证拿数据,你要是requests能请求到我就requests。

    但是selenium也得使用代理ip,要不还不是得把你ip给你封了。从网上找了些,但是代理拿下来发现不能用,我在本地设置好的代理ip可以用,加到option参数中就不行,下面看代码

    from selenium import webdriver
    from selenium.webdriver import ChromeOptions
    option = ChromeOptions()
    ip = 'ip:port'
    option.add_argument(('--proxy-server=' + ip))#有的博客写的是'--proxy-server=http://',就目前我的电脑来看的话需要把http://去掉就可以用,他会自己加的
    driver = webdriver.Chrome(options=option)
    driver.get(url='https://www.baidu.com/s?wd=ip')
  • 相关阅读:
    Numpy
    Homer SIP capture and VoIP Monitoring Install Guide
    How to install FreeSWITCH in Centos 7
    Media Samples
    lavfi
    Jitsi Sip Communicator Source Code Build Guide for Windows
    How to install Asterisk 13 with WebRTC support in CentOS
    How to build PJSIP with WebRTC
    WebRTC & SIP: The Demo
    WebRTC tutorial using SIPML5
  • 原文地址:https://www.cnblogs.com/blackball9/p/12006171.html
Copyright © 2020-2023  润新知