• 使用python标准库urllib2访问网页


    #访问不需要登录的网页
    import urllib2
    target_page_url='http://10.224.110.118/myweb/view.jsp'
    f = urllib2.urlopen(target_page_url)
    httpCodes=f.getcode()
    responseStr = f.read()
    f.close()
    successful= httpCodes in [200,201,202]
    #print(responseStr)
     

     
    ######访问需要登录的网页
    #步骤1. 创建一个带有cookie的opener
    #步骤2. 提供用户/密码, 用这个opener访问登录action url.

    #         因为触发了login_action, web 服务器端就会为这个用户初始化session
    #步骤3. 还是使用这个opener访问目标网页.
    import urllib, urllib2, cookielib
    cj = cookielib.CookieJar()
    opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
    login_data = urllib.urlencode({'employeeNo' : 'abcd', 'password' : 'xxxx'})
    login_action_url='http://10.224.110.118/myweb/userlogin'
    f=opener.open(login_action_url, login_data)
    #responseStr = f.read()
    target_page_url='http://10.224.110.118/myweb/index.jsp'
    f=opener.open(target_page_url)
    httpCodes=f.getcode()
    responseStr = f.read()
    f.close()
    opener.close()
    successful= httpCodes in [200,201,202]
    #print(responseStr)


    上面是使用urllib2的示例, 初步看了一下requests包, session(对于客户端来讲, 即cookie)可使用上下文方式来写, 更直观一些.

  • 相关阅读:
    用户体验评价
    第十四周进度总结
    寻找水王
    第十三周进度总结
    第一阶段意见评论
    梦断代码阅读笔记02
    第十二周进度总结
    冲刺(第十天)
    单词统计续
    冲刺(第九天)
  • 原文地址:https://www.cnblogs.com/harrychinese/p/visit_web_by_urllib2.html
Copyright © 2020-2023  润新知