• 批量下载RFC文档(python实现)


    RFC文档有很多,有时候在没有联网的情况下也想翻阅,只能下载一份留存本地了。
    看了看地址列表,大概是这个范围:
    http://www.networksorcery.com/enp/rfc/rfc1000.txt
    ...
    http://www.networksorcery.com/enp/rfc/rfc6409.txt

    哈哈,很适合批量下载,第一个想到的就是迅雷……
    可用的时候发现它只支持三位数的扩展(用的是迅雷7),我想要下的刚好是四位数……
    郁闷之下萌生自己做一个的想法!
    这东西很适合用python做,原理很简单,代码也很少,先读为快。
    代码如下:

     1 #! /usr/bin/python
    2 '''
    3 File : getRFC.py
    4 Author : Mike
    5 E-Mail : Mike_Zhang@live.com
    6 '''
    7 import urllib,os,shutil,time
    8
    9 def downloadHtmlPage(url,tmpf = ''):
    10 i = url.rfind('/')
    11 fileName = url[i+1:]
    12 if tmpf : fileName = tmpf
    13 print url,"->",fileName
    14 urllib.urlretrieve(url,fileName)
    15 print 'Downloaded ',fileName
    16 time.sleep(0.2)
    17 return fileName
    18
    19 # http://www.networksorcery.com/enp/rfc/rfc1000.txt
    20 # http://www.networksorcery.com/enp/rfc/rfc6409.txt
    21 if __name__ == '__main__':
    22 addr = 'http://www.networksorcery.com/enp/rfc'
    23 dirPath = "RFC"
    24 #startIndex = 1000
    25 startIndex = int(raw_input('start : '))
    26 #endIndex = 6409
    27 endIndex = int(raw_input('end : '))
    28 if startIndex > endIndex :
    29 print 'Input error!'
    30 if False == os.path.exists(dirPath):
    31 os.makedirs(dirPath)
    32 fileDownloadList = []
    33 logFile = open("log.txt","w")
    34 for i in range(startIndex,endIndex+1):
    35 try:
    36 t_url = '%s/rfc%d.txt' % (addr,i)
    37 fileName = downloadHtmlPage(t_url)
    38 oldName = './'+fileName
    39 newName = './'+dirPath+'/'+fileName
    40 if True == os.path.exists(oldName):
    41 shutil.move(oldName,newName)
    42 print 'Moved ',oldName,' to ',newName
    43 except:
    44 msgLog = 'get %s failed!' % (i)
    45 print msgLog
    46 logFile.write(msgLog+'\n')
    47 continue
    48 logFile.close()

    除了RFC文档,这个程序稍加修改也可以做其它事情:比如批量下载MP3、电子书等等。

    好,就这些了,希望对你有帮助。

  • E-Mail : Mike_Zhang@live.com
  • 转载请注明出处,谢谢!
  • 相关阅读:
    Android StickHeaderRecyclerView
    Android上使用RecyclerView实现顶部悬浮标题效果的Sticky Title View
    Android 使用RecyclerView优雅实现悬浮标题通讯录
    AS打包出现app:transformClassesAndResourcesWithProguardForRelease错误
    Dubbo架构原理
    Android 收藏夹之Android篇
    Android FlycoDialog 简单实用的自定义Android弹窗对话框之Dialog篇
    Kotlin 的23篇基础
    Kotlin编程之AndroidStudio(包括3.0与2.x版本)配置与使用
    Chrome 62 的大坑:修改密码后始终使用保存的旧密码登录团队
  • 原文地址:https://www.cnblogs.com/MikeZhang/p/getRFCFiles.html
  • Copyright © 2020-2023  润新知