• python urllib2 cookie 设置


    在模拟登录一些平台后,在抓取平台数据时需要将cookie设置到urllib2中,python有一个自己的cookielib库,可实现cookie的设置

    #!/usr/bin/env python
    #-*- coding: utf-8 -*-
    
    import urllib2
    import cookielib
    
    #获取一个保存cookie的对象
    cj = cookielib.LWPCookieJar()
    #将一个保存cookie对象,和一个HTTP的cookie的处理器绑定
    cookie_support = urllib2.HTTPCookieProcessor(cj)
    #创建一个opener,将保存了cookie的http处理器,还有设置一个handler用于处理http的URL的打开
    opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)
    #将包含了cookie、http处理器、http的handler的资源和urllib2对象板顶在一起
    urllib2.install_opener(opener)
    
    login_url = "登录url"
    data_url = "需要抓取数据的url"
    
    
    #登录请求
    LoginRequest = urllib2.Request(login_url)
    LoginResponse = urllib2.urlopen(LoginRequest)
    
    #抓取数据请求
    DataRequest = urllib2.Request(data_url)
    DataResponse = urllib2.urlopen(DataResponse)
  • 相关阅读:
    LibreOJ2302
    POJ3693
    BZOJ3697
    BZOJ2599
    BZOJ2152
    BZOJ1468
    BZOJ4653
    BZOJ4553
    BZOJ4552
    BZOJ4551
  • 原文地址:https://www.cnblogs.com/jeesezhang/p/3611530.html
Copyright © 2020-2023  润新知