• 爬虫与反爬虫与反反爬虫简介


    一.基本概念简介

      1.爬虫:

          自动获取网站数据的程序,关键是批量的获取。

      2.反爬虫:

          使用技术手段防止爬虫程序的方法。

      3.误伤:

          反爬技术将普通用户识别为爬虫,如果误伤过高,效果再好也不能用。(如局域网【学校,网吧等】可能用的是同一个ip,如果有人写了一个爬虫,把ip封了,可能损失很多用户。还有可能ip动态分配,重启路由器ip很有可能切换,而被禁的ip有可能在其他用户那儿。)

      4.拦截:

          成功拦截爬虫,一般拦截率越高,误伤率越高。

    二.反爬虫的目的

      1.初级爬虫:

          简单暴力,不管服务器压力,容易弄垮网站。

      2.数据保护:

          保护数据不被窃取。

      3.失控爬虫:

          由于某些情况忘记或无法关闭的爬虫。

      4.商业竞争对手:

          行业间竞争窃取数据。

    三.爬虫与反爬虫对抗过程

      

  • 相关阅读:
    Vim学习指南
    frambuffer lcd.c
    工控显示界面
    ubuntu nfs 开发板
    java初学1
    使用多态来实现数据库之间的切换
    Space Shooter 太空射击
    CandyCrush 糖果传奇
    进制转换以及原码、反码、补码
    winform小知识
  • 原文地址:https://www.cnblogs.com/lyq-biu/p/9742508.html
Copyright © 2020-2023  润新知