• python的N个小功能(找到要爬取的验证码链接,并大量下载验证码样本)


    # -*- coding: utf-8 -*-

    """

    Created on Mon Mar 21 11:04:54 2017

    @author: sl

    """

    import requests

    import time

    #################################################################################

    ################先找到对应的爬取验证码连接,例如我要爬取车违章信息#################################

    ###############找到车违章链接http://smart.gzeis.edu.cn:8081/Content/AuthCode.aspx#####################

    #################根据网页源码找到对应的登录链接https://www.stc.gov.cn/szwsjj_web/jsp/xxcx/jdcjtwfcx.jsp#######

    ################根据网页源码找到对应的验证码链接https://www.stc.gov.cn:443/szwsjj_web/ImgServlet.action?######

    #################################################################################

    def downloads_pic(pic_name):

             #url='http://smart.gzeis.edu.cn:8081/Content/AuthCode.aspx'

             url='https://www.stc.gov.cn/szwsjj_web/ImgServlet.action?'

             res=requests.get(url,stream=True)  ####在罕见的情况下你可能想获取来自服务器的原始套接字响应,那么你可以访问 r.raw如果你确实想这么干,那请你确保在初始请求中设置了stream=True

             print res

             with open(r'G:DownloadsVerificationCode\%s.jpg'%(pic_name),'wb') as f:

                       print res.iter_content(chunk_size=1024)

                       for chunk in res.iter_content(chunk_size=1024):  ####使用Response.iter_content将会处理大量你直接使用Response.raw不得不处理的.当流下载时,上面是优先推荐的获取内容方式

                                print chunk

                                if chunk: ###过滤下保持活跃的新块                      

                                         f.write(chunk)

                                         f.flush() #方法是用来刷新缓冲区的,即将缓冲区中的数据立刻写入文件,同时清空缓冲区,不需要是被动的等待输出缓冲区写入

                       f.close()

    if __name__=='__main__':

             for i in range(300):

                       pic_name=int(time.time()*1000000) #返回当前时间的时间戳(1970纪元后经过的浮点秒数)

                       downloads_pic(pic_name)

  • 相关阅读:
    关于int8_t,uint8_t.....等数据类型的理解
    导出函数__declspec(dllexport)
    c++中的namespace
    GitHub C 和 C++ 开源库的清单(含示例代码)
    进制之间的转换一
    为 JSON 字符串创建对象
    HTML5 简单Demo1
    主要浏览器的调试工具
    fiddler2抓包工具使用图文教程
    JAVA将秒的总和转换成时分秒的格式
  • 原文地址:https://www.cnblogs.com/dudumiaomiao/p/6601345.html
Copyright © 2020-2023  润新知