• 想入门Python爬虫?三步到位,轻松入门


    是不是很想知道那三步?

    其实很简单!

    1、打开网页,获取源码

    2、获取图片

    3、保存图片地址与下载图片

    打开网页,获取源码

    *由于多人同时爬虫某个网站时候,会造成数据冗余,网站崩溃,所以一些网站是禁止爬虫的,会返回403拒绝访问的错误信息。----获取不到想要的内容/请求失败/IP容易被封……..等

    *解决办法:伪装——不告诉网站我是一个脚本,告诉它我是一个浏览器。(加上随便一个浏览器的头部信息,伪装成浏览器),由于是简单例子,那我们就不搞这些骚操作了。

    获取图片

    *Find函数 :只去找第一个目标,查询一次

    *Find_all函数: 找到所有的相同的目标。

    这里可能有一个解析器的问题,我们也不说了,出问题的同学百度一堆解决办法。

    保存图片地址与下载图片

    a.使用urlib---urlretrieve下载(保存位置:如果保存在跟*.py文件同一个地方,那么只需要文件夹名称即可,如果是其他地方,那么得写绝对路径。)

    算了,不说那么多废话,既然是个简单例子,那我就直接贴代码吧。相信也没多少人呢看不懂。

    提一句:用BeautifulSoup就可以不用正则;爬虫用正则,Bs4, xpath三种 选择一个就好。当然也可以混合使用,也还有其他种。

    掌握上面的爬虫三步骤,一些简单的网站都可以直接搞定!

     

    下面用一个小案例吧!

    环境

    需求:python3x pycharm

    模块:urllib 、urllib2、bs4、re

    代码:

  • 相关阅读:
    何时使用Entity或DTO
    Lombok简介
    Spring Boot实现STOMP协议的WebSocket
    Java泛型构造函数
    Java 8 Comparator: 列表排序
    Spring Boot + Elastic stack 记录日志
    Sping、SpringMVC、SpringBoot的对比
    FileChannel指南
    让Spring Boot启动更快
    架构级开闭原则
  • 原文地址:https://www.cnblogs.com/pythonfm/p/9043150.html
Copyright © 2020-2023  润新知