• 用python自建一个DNS服务器


    前段日子一直在做公司的DNS调度程序,不过由于性能比较差,方案最终废弃掉了。两个半月心血,不想白白浪费掉,于是改了改,把商业秘密相关的部分去掉,变成了一个公共的DNS服务器。其实说的简单点,就是一个可以做DNS解析和应答的程序(废话,DNS服务器不就是干这个的)。功能比较简单,只做了A地址和CNAME的解析,安全性不涉及,性能也没有测试过,因为本身是个玩具,测性能没有意义(理论上如果用pypy的话,水平一般的机器也能跑到1万以上的QPS)。本程序多处借鉴了 isnowfy 同学的程序(相关博客:http://www.isnowfy.com/introduction-to-gevent/, github:https://github.com/isnowfy/dns),在此表示敬意。
    介绍一下这个程序吧。
    首先,服务器的基本思想是开通一个UDP服务器接收请求,等待接收包。如果接收到的包是DNS包,那么进行DNS包的解析,在数据库中查询域名,然后构造相应的DNS应答包,最后返回。不过这种方案就是单线程的接收->解析->应答过程,效率比较低。于是我对此进行了改造:接收到的包统一放进一个缓存中,然后,开通多条协程来取数据,进行并行处理。每条协程取一个包进行解析和应答。但是根据经(xiā)验(cāi)我知道,经常访问的域名只有那么一部分,同一个域名应该返回的是同一个应答包,那么,对所有包都解析是比较白痴的。因此,我又开了另一个缓存——一个LRU缓存。关于LRU缓存的原理和用法,可以见我之前的博客 http://www.cnblogs.com/anpengapple/p/5565461.html 。这样,获取到一个DNS包之后,就可以先在LRU缓存中进行查找,发现查询过,就直接返回(之前记得替换ID),没有查询过再进行解析、应答和存入LRU缓存。
    在整个这个过程中,我使用到了:①gevent用来开协程;②gevent.Queue用来当做接收包的缓存队列;③dnslib库用来解析DNS包;④pylru库用来做LRU缓存;⑤仅使用了一个简单的文本文件作为数据库。
     
    整体程序流程如下:
    # 0、启动UDP服务。
    class DNSServer(object):
        @staticmethod
        def start():
            # 缓存队列,收到的请求都先放在这里,然后从这里拿数据处理
            DNSServer.deq_cache = Queue(maxsize=deq_size) if deq_size > 0 else Queue()
            # LRU Cache,使用近期最少使用覆盖原则
            DNSServer.dns_cache = pylru.lrucache(lru_size)
     
            # 启动协程,循环处理缓存队列
            gevent.spawn(_init_cache_queue)
     
            # 启动DNS服务器
            print 'Start DNS server at %s:%d
    ' % (ip, port)
            dns_server = SocketServer.UDPServer((ip, port), DNSHandler)
            dns_server.serve_forever()

     

    # 1、接收请求包,存入缓存队列。
    class DNSHandler(SocketServer.BaseRequestHandler):
        def handle(self):
            # 若缓存队列没有存满,把接收到的包放进缓存队列中(存满则直接丢弃包)
            if not DNSServer.deq_cache.full():
                # 缓存队列保存元组:(请求包,请求地址,sock)
                DNSServer.deq_cache.put((self.request[0], self.client_address, self.request[1]))

     

    # 2、从缓存队列中取数据。
    def _init_cache_queue():
        while True:
            data, addr, sock = DNSServer.deq_cache.get()
            gevent.spawn(handler, data, addr, sock)

     

    # 3、如果请求是DNS包,解析出其查询域名。
    dns.header.set_qr(dnslib.QR.RESPONSE)
    qname = dns.q.qname
     
    try:
        dns = dnslib.DNSRecord.parse(data)
    except Exception as e:
        print 'Not a DNS packet.
    ', e

     

    # 4、判断是否存在于LRU缓存中。若存在,进行5;否则,进行6。
    response = DNSServer.dns_cache.get(qname)
     
    if response:
        # goto 5
    else:
        # goto 6

     

    # 5、获得LRU缓存中这条DNS的应答数据,将ID替换为本条DNS查询的ID,然后返回给客户端。
    response[:2] = data[:2]
    sock.sendto(response, addr)

     

    # 6、从数据库中查找这条DNS的应答,封装成DNS包,存入LRU缓存,然后返回给客户端。
    answers, soa = query(str(qname).rstrip('.'))
    answer_dns = pack_dns(dns, answers, soa)
     
    DNSServer.dns_cache[qname] = answer_dns.pack()
    sock.sendto(answer_dns.pack(), addr)

     

    反正大概过程就是酱婶的。我在“数据库”里面加了几条数据做实验(第一条是SOA) :
     
    然后测试:
    dig ccc.apple.tree @dns-ip -p dns-port
    得到结果,成功解析,呕液~
     
    有一点需要注意,作为数据库的文本文件如果是在windows下写的,拿到linux下用,可能会出现换行符恶心人的问题。需要先使用dos2unix这个工具转换一下,或者自己写代码。具体情况和解决办法见:http://www.cnblogs.com/anpengapple/p/5664235.html
    这里使用的csv文件仅仅是为了演示方便,没有任何性能及安全方面的考虑。改进可以考虑:

    第一、在开启服务器时将内容全部加载到内存,这样可以去掉LRUCache;
    第二、使用redis或mysql之类的数据库;
    第三、注意数据的验证,例如判断ip的正则,域名的内容等等。

     
    其实作为一个DNS服务器来讲,这个程序欠缺的还很多,只能作为一个模型来参考,或者说一个玩具用来玩。大概就酱吧。本身用python来做DNS服务器就是个笑话。
    完整的代码我放在github上面了,地址:https://github.com/anpengapple/apple_dns,有兴趣的同学可以拿去玩,有意见的同学可以提,反正我是不会改的。吾之懒癌逾重矣。
    后记:(1)我司决定放弃powerdns,改投bind的怀抱了。虽然第二季度的绩效基本上就泡汤了,但是能用上bind还是极好的。毕竟bind用的人多,就算出问题也能有个地方问问题。而且,powerdns我已经快走投无路了。
    (2)最近发现有网站转载了我的几篇博客,首先还是很高兴的,说明我写的东西还是比较有用的,得到了别人的认可,但是高兴之余觉得有点不对劲,转载不通知我一声,连转载的字样都没有出现,这令我有点不满。所以声明一下本人博客目前就只有一个,地址在:http://www.cnblogs.com/anpengapple/ 以后如果开了其他博客或者微信公众号什么的,我也会在这个博客中告知。
    (3)有无聊的同学可以帮我测试一下QPS,记得在数据库中添加好数据,还有用pypy来跑。测试工具queryperf的使用见:http://www.cnblogs.com/anpengapple/p/5211557.html,pypy的安装及使用见:http://www.cnblogs.com/anpengapple/p/5586678.html
  • 相关阅读:
    WPF分页控件
    Anroid图标尺寸
    linux常用快捷键
    securecrt中vim行号下划线问题及SecureCRT里root没有高亮的设置,修改linux终端命令行颜色
    ANT-普通替换和正则替换
    js实现IOS上删除app时颤抖动画j函数
    php语法错误导致服务器错误(500)解决
    Linux 常用命令大全2
    Linux 命令行快捷键
    backbone源代码注释(部分)
  • 原文地址:https://www.cnblogs.com/anpengapple/p/5664500.html
Copyright © 2020-2023  润新知