找个代理网站把代理ip爬下来做代理池

本文内容仅供学习交流使用，不具有任何商业用途，如有问题请即时联系我处理。--Python逐梦者。

某度上很多免费代理的网站，今天尝试来爬一个试着做下代理池。

代码开始：

"""
    找一个免费代理，然后将它搭建成爬虫的代理池
"""
import requests
import csv
import time
import parsel
import random

# f = open('89免费代理.csv', mode='a', encoding='utf-8-sig', newline='')
# csvWriter = csv.DictWriter(f, fieldnames=[
#     'ip地址',
#     '端口',
#     '位置',
#     'isp服务商',
# ])
# csvWriter.writeheader() # 将头写入

headers = {
    "cookie": "Hm_lvt_f9e56acddd5155c92b9b5499ff966848=1636356943; Hm_lpvt_f9e56acddd5155c92b9b5499ff966848=1636356954",
    "referer": "https://www.xxip.cn/",
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36",
}

ip_list = []
port_list = []

# 多页爬取
for page in range(1, 51): # 爬五十页
    time.sleep(random.randint(2, 10))
    print("==========开始爬取第{}页==========".format(page))
    # 定义url
    url = f'https://www.xxip.cn/index_{page}.html'
    # 开始请求
    response = requests.get(url=url, headers=headers)
    if response.status_code == 200:
        print("数据获取成功，开始解析！")
    # 选择器，要提取ip和端口以供检查使用
    selector = parsel.Selector(response.text)
    # 选取ip列表
    lis = selector.css('.layui-table tbody tr')
    # 读取列表
    for li in lis:
        ip = li.css('td:nth-child(1)::text').get().strip() # ip地址
        port = li.css('td:nth-child(2)::text').get().strip() # 端口
        location = li.css('td:nth-child(3)::text').get().strip() # 位置
        isp = li.css('td:nth-child(4)::text').get().strip() # 运营商
        ip_list.append(ip) # 测试用
        port_list.append(port) # 测试用
        # print(ip, port, location, isp, sep='|')
        # # 写入到csv文档
        # dit = {
        #     'ip地址':ip,
        #     '端口':port,
        #     '位置':location,
        #     'isp服务商':isp,
        # }
        # csvWriter.writerow(dit) # 逐行写入到csv文档

    # print(ip_list, port_list)
    available_ips = [] # 可用ip
    # 开始测试第page页的ip
    print("=====开始测试{}页的ip。=====".format(page))
    for ip, port in zip(ip_list,port_list):
        # 开始组建代理
        proxies = {
            'http':ip + ":" + port
        }
        # print(proxies) 打印看是否符合预期
        try:
            res = requests.get('https://www.baidu.com', proxies=proxies, timeout=5)
            if res.status_code == 200: # 状态码为200则为响应成功
                print(ip + "可用！")
                available_ips.append(ip)
            else:
                print(ip + "无响应！")
        except:
            pass

        # 接下来保存可用ip
        with open('89免费代理.csv', mode='a', encoding='utf-8-sig', newline='') as f:
            csvWriter = csv.writer(f) # 写入器
            csvWriter.writerow([ip, port]) # 将ip和端口进行保存
        print("====第{}页的的可用ip保存成功！====".format(page))

爬完部分截图如下：

 逐梦很累，坚持加油。--一叶孤城。