• 搭建免费代理池


    搭一个免费的代理池

    # https://github.com/jhao104/proxy_pool
    # 收费的:提供给你一个接口,每掉一次这个接口,获得一个代理
    # 免费:用爬虫爬取,免费代理,放到我的库中,flask,django搭一个服务(删除代理,自动测试代理可用性),每次发一个请求,获取一个代理
    
    # 配置
    
    # 1 下载,解压,用pycharm打开
    # 2 安装依赖 pip install -r requirements.txt
    # 3 配置Config/setting.py:
    	DB_TYPE = getenv('db_type', 'redis').upper()
    	DB_HOST = getenv('db_host', '127.0.0.1')
    	DB_PORT = getenv('db_port', 6379)
    	DB_PASSWORD = getenv('db_password', 'Admin123')  # 填你自己的redis密码,没有就不填
    # 4 本地启动redis-server --service-start
    
    # 5 可以在cli目录下通过ProxyPool.py
    	-python proxyPool.py schedule :调度程序,他会取自动爬取免费代理
      -python proxyPool.py webserver:启动api服务,把flask启动起来
    
  • 相关阅读:
    内存使用信息及cpu使用信息
    网站被攻击了怎么办
    seo 百度不收录
    php 使用功能
    sl 动态调用wcf
    php 项目中遇到的问题 ...
    Closures
    php 配置虚拟主机
    jQery 常用工具大全
    jquery基础使用!
  • 原文地址:https://www.cnblogs.com/yafeng666/p/12663853.html
Copyright © 2020-2023  润新知