• ip封禁问题


    ####

    首先是如何能避免封ip?

    然后是封了ip怎么办?

    ###

    如何避免封ip,

    1,ua方面,尽量模拟浏览器的访问,比如useragent,尽量使用不同的ua,可以增加随机选择ua的功能,频繁切换UserAgent(模拟浏览器访问)

    2,频率访问,降低采集频率,时间设置长一些,访问时间采用随机数

    3,多页面数据,随机访问然后抓取数据,访问页面的顺序也可以随机着来

    4,更换用户IP,这是最直接有效的方法!

    网站封的依据一般是单位时间内特定IP的访问次数.将采集的任务按目标站点的IP进行分组通过控制每个IP在单位时间内发出任务的个数,来避免被封.当然,这个前题采集很多网站.如果只是采集一个网站,那么只能通过多外部IP的方式来实现了.

    ####

    解决ip封禁问题,

    1,免费ip,这个不稳定,但是不需要成本,

    2,收费ip,比如芝麻代理,这个成本比较高,使用简单,

    3,vps拨号,这个成本会相对低,配置复杂一些,

    ####

    免费ip

    这些IP可以从这个几个网站获取:快代理、代理66、有代理、西刺代理、guobanjia。

    如果出现像下面这种提示:“由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败”或者是这种,” 由 于目标计算机积极拒绝,无法连接。”. 那就是IP的问题,更换就行了。。。。发现上面好多IP都不能用。。

    #####

  • 相关阅读:
    【codeforces 604D】Moodular Arithmetic
    【hdu 1846】Brave Game
    【hdu 2147】kiki's game
    【hdu 2188】选拔志愿者
    【hdu 2149】Public Sale
    【hdu 1847】Good Luck in CET-4 Everybody!
    【hdu 1849】Rabbit and Grass
    FreeBSD 内核中的SYSINIT分析【转】
    解决tomcat运行报错java.lang.UnsatisfiedLinkError: apache-tomcat-7.0.37in cnative-1.dll:Can load AMD 64
    菜单的事件推送
  • 原文地址:https://www.cnblogs.com/andy0816/p/15318463.html
Copyright © 2020-2023  润新知