• python2x与3x下使用urlretrieve下载文件


    1、python2x下urlretrieve方法: 
    直接将远程数据下载到本地。 
    urllib.urlretrieve(url[, filename[, reporthook[, data]]]) 
    参数说明: 
    url:外部或者本地url 
    filename:指定了保存到本地的路径(如果未指定该参数,urllib会生成一个临时文件来保存数据); 
    reporthook:是一个回调函数,当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调。我们可以利用这个回调函数来显示当前的下载进度。 
    data:指post到服务器的数据。该方法返回一个包含两个元素的元组(filename, headers),filename表示保存到本地的路径,header表示服务器的响应头。 
    下面通过例子来演示一下这个方法的使用,这个例子将新浪首页的html抓取到本地,保存在D:/sina.html文件中,同时显示下载的进度。

    import urllib
    def callbackfunc(blocknum, blocksize, totalsize):
        '''回调函数
        @blocknum: 已经下载的数据块
        @blocksize: 数据块的大小
        @totalsize: 远程文件的大小
        '''
        percent = 100.0 * blocknum * blocksize / totalsize
        if percent > 100:
            percent = 100
        print "%.2f%%"% percent
    url = 'http://www.sina.com.cn'
    local = 'd:\sina.html'
    urllib.urlretrieve(url, local, callbackfunc)

    2、python3下面要使用:urllib.request.urlretrieve()这种形式的调用,下面附一个python3下爬取贴吧上的图片的爬虫程序:

    import urllib.request
    import re
    #py抓取页面图片并保存到本地
    
    #获取页面信息
    def getHtml(url):
        html = urllib.request.urlopen(url).read()
        return html
    
    #通过正则获取图片
    def getImg(html):
        reg = 'src="(.+?.jpg)" pic_ext'
        imgre = re.compile(reg)
        imglist = re.findall(imgre,html)
       # print(imglist)
        return imglist
    
    html = getHtml("http://tieba.baidu.com/p/2460150866")
    
    list=getImg(html.decode())
    
    #循环把图片存到本地
    x = 0
    for imgurl in list:
        print(x)
        urllib.request.urlretrieve(imgurl,'d:\%s.jpg'% x)
        x+=1
    
    print("done")
  • 相关阅读:
    IOS-- UIView中的坐标转换
    iphone练习之手势识别(双击、捏、旋转、拖动、划动、长按)UITapGestureRecognizer
    Storm与Spark Streaming比较
    Python程序的常见错误(收集篇)
    Python画图笔记
    如何在论文中画出漂亮的插图?
    别老扯什么Hadoop了,你的数据根本不够大
    保险与互联网结合拉开序幕
    关于数学
    R--基本统计分析方法(包及函数)
  • 原文地址:https://www.cnblogs.com/hushaojun/p/7667220.html
Copyright © 2020-2023  润新知