• python的爬虫入门学习2


    0.urlopen()方法的timeout参数用于设置什么:

              用于设置超时时间(答:timeout 参数用于设置连接的超时时间,单位是秒)

    1. 如何从 urlopen() 返回的对象中获取 HTTP 状态码?

    用getcode()方法

    
    response = urllib.request.urlopen(url)#打开url网址
    code = response.getcode()#获取HTTP状态码
    

    2. 在客户端和服务器之间进行请求-响应时,最常用的是哪两种方法?

    答:GET 和 POST。

               response=urllib.request.urlopen("url")

               或response=urllib.request.Response("url")

                  Response.urlopen()

    3. HTTP 是基于请求-响应的模式,那是客户端发出请求,服务端做出响应;还是服务端发出请求,客户端做出响应呢

    回答:是客户端发出请求,服务器响应

    4.User-Agent 属性通常是记录什么信息

    记录的是用户与服务器交互的信息

    答:普通浏览器会通过该内容向访问网站提供你所使用的浏览器类型、操作系统、浏览器内核等信息的标识。

    5.如何通过 urlopen() 使用 POST 方法向服务端发出请求?

    答:urlopen 函数有一个 data 参数,如果给这个参数赋值,那么 HTTP 的请求就是使用 POST 方式;

    如果 data 的值是 NULL,也就是默认值,那么 HTTP 的请求就是使用 GET 方式

    6. 使用字符串的什么方法将其它编码转换为 Unicode 编码

    答:decode。decode 的作用是将其他编码的字符串转换成 unicode 编码,相反,encode 的作用是将 unicode 编码转换成其他编码的字符串

    html=response.read().decode(" Unicode ")

    7. JSON 是什么鬼

    答:JSON 是一种轻量级的数据交换格式,说白了这里就是用字符串把 Python 的数据结构封装起来,便与存储和使用

    是一种传递对象的语法,对象可以是name/value 数组

    8.配合 EasyGui,给“下载一只猫“的代码增加互动(关于easygui安装)

    • 让用户输入尺寸;
    • 如果用户不输入尺寸,那么按默认宽400,高600下载喵;
    • 让用户指定保存位置
    import easygui as g
    import urllib.request
    
    def main():
        msg = "请填写喵的尺寸"
        title = "下载一只喵"
        fieldNames = ["宽:", "高:"]
        fieldValues = []
        size = width, height = 400, 600
        fieldValues = g.multenterbox(msg, title, fieldNames, size)
    
        while 1:
            if fieldValues == None:
                break
            errmsg = ""
    
            try:
                width = int(fieldValues[0].strip())
            except:
                errmsg += "宽度必须为整数!"
    
            try:
                height = int(fieldValues[1].strip())
            except:
                errmsg += "高度必须为整数!"    
    
            if errmsg == "":
                break
            
            fieldValues = g.multenterbox(errmsg, title, fieldNames, fieldValues)
    
        url = "http://placekitten.com/g/%d/%d" % (width, height)
    
        response = urllib.request.urlopen(url)
        cat_img = response.read()
    
        filepath = g.diropenbox("请选择存放喵的文件夹")
    
        if filepath:
            filename = '%s/cat_%d_%d.jpg' % (filepath, width, height)
        else:
            filename = 'cat_%d_%d.jpg' % (width, height)
    
        with open(filename, 'wb') as f:
            f.write(cat_img)
    
    if __name__ == "__main__":
        main()

    9.登陆豆瓣客户端

    import re
    import urllib.request
    from http.cookiejar import CookieJar
    
    # 豆瓣的登录url 
    loginurl = 'https://www.douban.com/accounts/login'
    cookie = CookieJar()
    opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor)
    
    data = {
        "form_email":"your email",
        "form_password":"your password",
        "source":"index_nav"
    }
    data = {}
    data['form_email'] = '你的账号'
    data['form_password'] = '你的密码'
    data['source'] = 'index_nav'
    
    response = opener.open(loginurl, urllib.parse.urlencode(data).encode('utf-8'))
    
    #验证成功跳转至登录页
    if response.geturl() == "https://www.douban.com/accounts/login":
        html = response.read().decode()
        
        #验证码图片地址
        imgurl = re.search('<img id="captcha_image" src="(.+?)" alt="captcha" class="captcha_image"/>', html)
        if imgurl:
            url = imgurl.group(1)
            # 将验证码图片保存至同目录下
            res = urllib.request.urlretrieve(url, 'v.jpg')
    
            # 获取captcha-id参数
            captcha = re.search('<input type="hidden" name="captcha-id" value="(.+?)"/>' ,html)
    
            if captcha:
                vcode = input('请输入图片上的验证码:')
                data["captcha-solution"] = vcode
                data["captcha-id"] = captcha.group(1)
                data["user_login"] = "登录"
    
                # 提交验证码验证
                response = opener.open(loginurl, urllib.parse.urlencode(data).encode('utf-8'))
    
                # 登录成功跳转至首页 '''
                if response.geturl() == "http://www.douban.com/":
                    print('登录成功!')
    

          

  • 相关阅读:
    Hadoop之Linux源代码编译
    《程序猿的修炼——从优秀到卓越》读书笔记(二)——运营和项目管理
    WPF文字渲染相关的问题及解决
    APNS push server端 SSL3.0 转 TLS (iPhone苹果推送服务)
    14西安区域赛总结帖
    linux内核调试+qemu+eclipse【转】
    一步一步粗谈linux文件系统(三)----超级块(superblock)【转】
    block(data block,directory block)、inode、块位图、inode位图和super block概念详解【转】
    Linux文件系统及文件储存方式【转】
    简单虚拟文件系统的设计与实现【转】
  • 原文地址:https://www.cnblogs.com/chmusk/p/11078940.html
Copyright © 2020-2023  润新知