• python使用代理访问服务器


    python使用代理访问服务器主要有一下3个步骤:

    1.创建一个代理处理器ProxyHandler:

    proxy_support = urllib.request.ProxyHandler(),ProxyHandler是一个类,其参数是一个字典:{ '类型':'代理ip:端口号'}

    什么是Handler?Handler也叫作处理器,每个handlers知道如何通过特定协议打开URLs,或者如何处理URL打开时的各个方面,例如HTTP重定向或者HTTP cookies。

    2.定制、创建一个opener:

    opener = urllib.request.build_opener(proxy_support)

    什么是opener?python在打开一个url链接时,就会使用opener。其实,urllib.request.urlopen()函数实际上是使用的是默认的opener,只不过在这里我们需要定制一个opener来指定handler。

    3a.安装opener

    urllib.request.install_opener(opener)

    install_opener 用来创建(全局)默认opener,这个表示调用urlopen将使用你安装的opener。

    3b.调用opener
    opener.open(url)

    该方法可以像urlopen函数那样直接用来获取urls:通常不必调用install_opener,除了为了方便。

    >>> proxy_support = urllib.request.ProxyHandler({'http':'115.32.41.100:80'})
    >>> proxy_support
    <urllib.request.ProxyHandler object at 0x0000000002EE74A8>
    >>> opener = urllib.request.build_opener(proxy_support)
    >>> opener
    <urllib.request.OpenerDirector object at 0x0000000002F972B0>
    >>> opener.handlers
    [<urllib.request.ProxyHandler object at 0x0000000002EE74A8>, <urllib.request.UnknownHandler object at 0x0000000003197B38>, <urllib.request.HTTPHandler object at 0x0000000003197C18>, <urllib.request.HTTPDefaultErrorHandler object at 0x0000000003197CC0>, <urllib.request.HTTPRedirectHandler object at 0x0000000003197BA8>, <urllib.request.FTPHandler object at 0x0000000003197DD8>, <urllib.request.FileHandler object at 0x0000000003197E80>, <urllib.request.HTTPSHandler object at 0x0000000003197E48>, <urllib.request.HTTPErrorProcessor object at 0x0000000003197E10>]
    >>> opener.addheaders
    [('User-agent', 'Python-urllib/3.3')]
    >>> opener.addheaders = [('User-Agent','Test_Proxy_Python3.5_maminyao')]
    >>> opener.addheaders
    [('User-Agent', 'Test_Proxy_Python3.5_maminyao')]
    >>> 

    从代理ip列表中随机使用某ip去访问URL的例子

    import urllib.request
    import random
    
    url = 'http://www.whatismyip.com.tw'
    iplist = ['115.32.41.100:80','58.30.231.36:80','123.56.90.175:3128']
    
    proxy_support = urllib.request.ProxyHandler({'http':random.choice(iplist)})
    opener = urllib.request.build_opener(proxy_support)
    opener.addheaders = [('User-Agent','Test_Proxy_Python3.5_maminyao')]
    urllib.request.install_opener(opener)
    response = urllib.request.urlopen(url)
    html = response.read().decode('utf-8')
    
    print(html)
  • 相关阅读:
    echarts在ie浏览器y轴坐标偏移向上
    git常用命令总结[转]
    char和varchar类型的区别
    关于猴子选大王的问题
    VIM折叠代码命令
    用excel打开文本内容
    php事务操作示例
    Iframe内嵌Cookie丢失问题
    VIM折叠代码命令
    git常用命令总结[转]
  • 原文地址:https://www.cnblogs.com/paomaliuju/p/5176461.html
Copyright © 2020-2023  润新知