python 实现简单 http 代理

http 代理有什么用处？

1，可以是插入 js 广告，某些 isp 就是这么干的，强插广告，现在 https 的网站越来越多了，插入不了。

2,  用来调试 app 或是别的程序，可以看到详细的 http 请求，响应，fiddler 这个软件也是做这个的，但它不开源。

用浏览器打开测试的 HTTP 请求  http://localhost/logo.gif  带端口号的  http://localhost:8000/logo.gif

使用 wireshark 抓包：

GET http://localhost/logo.gif HTTP/1.1
Host: localhost
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:56.0) Gecko/20100101 Firefox/56.0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2
Accept-Encoding: gzip, deflate
DNT: 1
Connection: keep-alive
Upgrade-Insecure-Requests: 1

#或第 2 种
GET http://localhost:8000/logo.gif HTTP/1.1
Host: localhost:8000
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:56.0) Gecko/20100101 Firefox/56.0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2
Accept-Encoding: gzip, deflate
DNT: 1
Connection: keep-alive
Upgrade-Insecure-Requests: 1

原理：

http 1.1 也就是 tcp 连接，有 header 和 body ，更多复杂的细节这里不做介绍（session cookie 缓存等）

下面使用 python 实现，  listen 8000 端口，分析原始的 请求网址的HOST 和端口，建立连接拿回数据转发。 

设置浏览器，使用 localhost 8000 http 代理方式 。

下图以 firefox 设置为例：

源码 py2.7：

#!/usr/bin/env python
#coding:utf-8
import socket
import sys
import re
import os
import time
import urllib
import urllib2
import threading

HEADER_SIZE = 4096

host = '0.0.0.0'
port = 8000

#子进程进行socket 网络请求
def http_socket(conn, addr):
    print("client connent:{0}:{1}".format(addr[0], addr[1]))
    try:
        #读取 http 请求头信息
        request_header = conn.recv(HEADER_SIZE)
        #拆分头信息
        host_addr = request_header.split("
")[1].split(":")
        #如果未指定端口则为默认 80
        if 2 == len(host_addr):
            host_addr.append("80")
        name, host, port = map(lambda x: x.strip(), host_addr)
        #建立 socket tcp 连接
        sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        sock.connect((host, int(port)))
        #发送原始请求头
        sock.sendall(request_header)
        #接收数据并发送给浏览器
        while(True):
            resp = sock.recv(512)
            if resp:
                conn.sendall(resp)
            else:
                break
        #关闭连接   
        sock.close()
    except Exception as e:
        print("http socket error")
        print(e)

#创建socket对象
http_server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
try:
    http_server.bind((host, port))
except:
    sys.exit("python proxy bind error ")

print("python proxy start")

http_server.listen(1024)

while True:
    conn, addr = http_server.accept()
    http_thread = threading.Thread(target=http_socket, args=(conn, addr))
    http_thread.start()
    time.sleep(1)

#关闭所有连接
http_server.close()
print("python proxy close")

测试下载大点的文件：

正常。

缺点是，性能不好，没有实现 Connection : keep-alive 打开一次就关闭了。

在 win10 python2.7 ubuntu 16.0.4 上应该都可以用

select 版 修改了 keep-alive 不是每次都关闭连接

#!/usr/bin/env python
#coding:utf-8
import socket
import sys
import re
import os
import time
import select
import threading

HEADER_SIZE = 4096

host = '0.0.0.0'
port = 8000

#子进程进行socket 网络请求
def http_socket(client, addr):
    #创建 select 检测 fd 列表
    inputs  = [client]
    outputs = []
    remote_socket = 0
    print("client connent:{0}:{1}".format(addr[0], addr[1]))
    while True:
        readable, writable, exceptional = select.select(inputs, outputs, inputs)
        try:
            for s in readable:
                if s is client:
                    #读取 http 请求头信息
                    request_header = s.recv(HEADER_SIZE)
                    if remote_socket is 0:
                        #拆分头信息
                        host_addr = request_header.split("
")[1].split(":")
                        #如果未指定端口则为默认 80
                        if 2 == len(host_addr):
                            host_addr.append("80")
                        name, host, port = map(lambda x: x.strip(), host_addr)
                        #建立 socket tcp 连接
                        sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
                        sock.connect((host, int(port)))
                        remote_socket = sock
                        inputs.append(sock)
                    #发送原始请求头
                    remote_socket.sendall(request_header)
                else:
                    #接收数据并发送给浏览器
                    while(True):
                        resp = s.recv(512)
                        if resp:
                            client.sendall(resp)
                    else:
                        break
        except Exception as e:
            print("http socket error {0}".format(e))

#创建socket对象
http_server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
try:
    http_server.bind((host, port))
except:
    sys.exit("python proxy bind error ")

print("python proxy start")

http_server.listen(1024)

while True:
    client, addr = http_server.accept()
    http_thread = threading.Thread(target=http_socket, args=(client, addr))
    http_thread.start()
    time.sleep(1)

#关闭所有连接
http_server.close()
print("python proxy close")

https 的实现稍复杂一点，下面讲。