• python爬虫:爬取慕课网视频


    前段时间安装了一个慕课网app,发现不用注册就可以在线看其中的视频,就有了想爬取其中的视频,用来在电脑上学习。
    决定花两天时间用学了一段时间的python做一做。(我的新书《Python爬虫开发与项目实战》出版了,大家可以看一下样章

    我使用的是pycharm进行开发,使用BeautifulSoup模块解析html,整个代码进行了比较详细的注释。
    整个工程结构:

    ----entity

    --------__init__.py

    --------fileinfor.py用来描述视频文件信息

    ----filedeal

    --------__init__.py

    --------file_downloader.py用于视频文件的下载

    ----spider 爬虫的核心内容
    --------__init__.py

    --------html_downloader.py html下载器

    --------html_parser.py html解析器

    --------spiderman.py 爬虫核心逻辑

    ----test test文件夹主要是用来测试一些用例,不参与整个程序运行

    ----conf.py 一些全局变量

    ----index.py 程序启动入口

    运行环境:
    python 2.7.X
    需要安装的支持模块:
    BeautifulSoup (pip install或者下载源代码包setup.py),下载链接:https://pypi.python.org/pypi/beautifulsoup4/4.3.2

    运行:在windows上直接双击start.bat,linux上没试

    现在将程序运行起来,双击start.bat:

    输入课程号,选择视频品质:

    等到显示100%时,会将视频下载到当前目录下

    源代码在我的github上:https://github.com/qiyeboy/spider_smooc

    欢迎大家指教学习

    我的微信公众号:qiye_python

    请大家关注,我会经常分享我的技术和作品,大家共同进步









    本文章属于原创作品,欢迎大家转载分享,禁止修改文章的内容。尊重原创,转载请注明来自:七夜的故事 http://www.cnblogs.com/qiyeboy/
  • 相关阅读:
    递归练习:走台阶
    递归练习:计算最大公约数和最小公倍数
    递归练习:逆序输出一个十进制数的各位数字
    m4, autoconf
    Makefile 和 CMakeLists.txt
    Java中的String pool
    小米路由Mini刷Breed, 潘多拉和LEDE
    Centos 编译LEDE/OpenWrt
    Centos6下编译安装gcc6.4.0
    IntelliJ IDEA遇到Unable to parse template “Class”错误
  • 原文地址:https://www.cnblogs.com/qiyeboy/p/5269616.html
Copyright © 2020-2023  润新知