爬虫代理squid

yum -y install squid

配置文件一般是在/etc/squid3/下的squid.conf文件

pyspider使用的时候只需要设置代理服务器为你配置好的服务器的ＩＰ就可以了

class Handler(BaseHandler):
    crawl_config = {
        'proxy': '127.0.0.1:6666'
    }