• 基本urllib库


    urlib库

    urllib库是Python中一个最基本的网络请求库。可以模拟浏览器的行为,向指定的服务器发送一个请求,并可以保存服务器返回的数据。

    urlopen函数:

    在Python3的urllib库中,所有和网络请求相关的方法,被集到url1ib.request横块下面了,以先来看下orlopen数基本的使用:
    fron urllib import request         #导入urllib模块下的request包

    resp = request.urlopen("https://www.baidu.com")    #打开url 

    print(resp.read())      #读出resp对象的代码(bytes数据类型) 

    #print(resp.read().decode('utf-8'))  #bytes转str数据类型

    实际上,使用刻宽器访问百度,右键查看源代码。你会发现,跟我们刚才打印出来的数据有的或许不同,但使用下面代码是相同的。原因是返回回来的值是bytes数据类型,我们要把他转换为str类型,才能更清楚的阅读代码。也就是说,上面的三行代码就已经帮我们把百度的首页的全部代码爬下来了。一个基本的ur请求对应的python代码真的非常简单。

    urlretrieve函数:

    urlretrieve函数简单来讲就是将一个网页或网页上的某一元素保存到本地。用法实现:

    关于url编码和解码问题:

     在上面说过read()读出来是一个bytes数据类型,所以,如需bytes与str数据类型的转换,有:

    bytes-->decode-->str

    str-->encode-->bytes

  • 相关阅读:
    关于Linux内核版本
    什么是操作系统?
    进程三种基本状态
    Repo实践指南
    在TortoiseSVN/TortoiseGit中使用BeyondCompare进行差异对比
    Redis安装
    Outlook配置163邮箱
    Nginx安装
    MySQL字符串操作函数
    Java各种反射性能对比
  • 原文地址:https://www.cnblogs.com/c-pyday/p/9709972.html
Copyright © 2020-2023  润新知