day31

一、网络基础

1、端口，是什么？为什么要有端口？

　　端口是为了将同一个电脑上的不同程序进行隔离。

　　IP是找电脑；端口是找电脑上的应用程序；

　　端口范围：1 – 65535;

　　1 - 1024 不要用;

　　一般程序员用8000、8001……

2、OSI七层模型(背会)

　　应用层，使用软件； 打开软件或网站

　　表示层，看到数据，如图片和视频； 生产原始数据

　　会话层，保持登录或链接状态； 应用偷偷携带一点其他数据： 令牌 19rRNAwf8g

　　传输层，TCP/UDP； [TCP][原始数据|19rRNAwf8g]

　　网络层，IP； 【IP】【[TCP][原始数据|19rRNAwf8g]】

　　数据链路层，MAC； [MAC][ 【IP】【[TCP][原始数据|19rRNAwf8g]】]

　　物理层，将数据转换成电信号发送；

3、TCP三次握手/四次挥手

　　socket客户端向服务端发起连接请求：三次握手
　　　　　　client.connect((....))
　　　　　　　　|客户端| 　　　 　　   |服务端|
　　　　　　　　我能打你吗
　　　　　　　　　　　　　　　　　　来呀来呀
　　　　　　　　好的，我这就来
　　　　　　　　-----------------------------
　　　　　　client.send('发送数据')
　　　　　　　　收发数据 收发数据

　　客户端和服务端断开连接：四次挥手
　　　　　　client.close() 或 conn.close()
　　　　　　　　-----------------------------
　　　　　　　　我要断开连接
　　　　　　　　　　　　　　　　　　断开就断开，等我处理一些手头的事情
　　　　　　　　　　　　　　　　　　...
　　　　　　　　　　　　　　　　　　我处理完了，断开吧。
　　　　　　　　拜拜

　　补充: 断开连时, 反应到代码上: 抛出异常/发送异常

　　总结：必须了解网络相关知识。

二、FTP任务分析

1、进度条( 表示将光标回退到本行的开头位置, 不换行end=””)

    import time
    
    def func(size, total_size):
        val = int(size/total_size*100)
        time.sleep(0.2)
        print('
%s%%|%s' % (val, '#'*val,), end='')
    
    for i in range(101):
        func(i, 100)

2、计算文件大小

　　我们以前学过os模块里面的os.path.getsize来计算文件大小,现在我们来学习os模块中的另一种方法:

    import os

    # os.stat(path).st_size和os.path.getsize(path)作用相同
    size = os.stat(r'D:pythonprojectday301课程大纲').st_size
    print(size)

3、修改文件名字(os模块和shutil模块)

    import os# py2+win: 报错
    os.rename('a.txt', 'b.txt')

    # 会出现两种情况
    　　# (1)没有文件叫b.txt
    　　# 　　可以直接改os.rename('a.txt', 'b.txt')

    　　# (2)已经有文件叫b.txt,
    　　# 　　那么这时会报错: FileExistsError: [WinError 183] 当文件已存在时，无法创建该文件。: 'a.txt' -> 'b.txt'
    　　# 　　所以,这时候需要先os.remove这个修改的名字的文件,才能改为证名字
    　　# 　　os.remove('b.txt')
    　　# 　　os.rename('a.txt', 'b.txt')

　　import shutil
    
　　# py2+py3都不报错
　　# 默认:如果存在同名的,先把同名的删除,然后把自己改成那个名字
　　# shutil.move('a.txt', 'b.txt')

　　# 不管b.txt的文件存不存在,都会执行.
　　# (1)不存在就直接改
　　# (2)存在就覆盖(先删除b.txt的文件,再修改自己的名字为b.txtx),
　　#    文件存在的时候,shutil.move 这一步等于 os.remove + os.rename 两步的作用

　　# 删除
　　# shutil.rmtree()  # 递归删除一个目录以及目录内的所有内容

4、断点续传

　　我们先来写一个断点续传（脚本主要实现了客户端向服务端上传文件，上传过程中中断的话，再次上传此文件时接着上次中断的地方继续上传）的简单示例，然后从中提取一些编程思想：

    import os
    import json
    import socketserver
    import shutil

    CODE = {
        '1001':'上传文件，从头开始上传'
    }

    def upload(cmd_dict,conn,username):
        """
        服务端完成上传文件（含断点续传）
        :param cmd_dict:
        :param conn:
        :return:
        """
        # 2. 获取文件信息
        file_md5 = cmd_dict['md5']
        file_name = cmd_dict['file_name']

        file_md5_path = os.path.join(username, file_md5)
        file_name_path = os.path.join(username, file_name)
        upload_file_size = cmd_dict['size']

        # 3. 判断文件是否存在
        exist = os.path.exists(file_md5_path)
        if not exist:  # 不续传
            # 3.1.1 可以开始上传了，我已经准备好。
            response = {'code': 1001}
            conn.sendall(json.dumps(response).encode('utf-8'))

            # 3.1.2 接收上传的文件内容
            f = open(file_md5_path, 'wb')
            recv_size = 0
            while recv_size < upload_file_size:
                data = conn.recv(1024)
                f.write(data)
                f.flush()
                recv_size += len(data)
                return
            f.close()

            # 3.1.3 改名字
            shutil.move(file_md5_path, file_name_path)

        else:  # 续传
            # 3.2 续传+大小
            exist_size = os.stat(file_md5_path).st_size
            response = {'code': 1002, 'size': exist_size}
            conn.sendall(json.dumps(response).encode('utf-8'))

            f = open(file_md5_path, 'ab')
            recv_size = exist_size
            while recv_size < upload_file_size:
                data = conn.recv(1024)
                f.write(data)
                f.flush()
                recv_size += len(data)
            f.close()

            # 3.1.3 改名字
            shutil.move(file_md5_path, file_name_path)

    class NbServer(socketserver.BaseRequestHandler):
        def handle(self):
            """
            self.request 是客户端的socket对象
            :return:
            """
            # 1. 接收命令
            upload_cmd_bytes = self.request.recv(8096)
            cmd_dict = json.loads(upload_cmd_bytes.decode('utf-8'))

            if cmd_dict['cmd'] == 'upload':
                upload(cmd_dict,self.request,'lili')  # 服务端代码有个文件夹（lili）才能运行
            elif cmd_dict['cmd'] == 'download':
                pass

    if __name__ == '__main__':
        server =     socketserver.ThreadingTCPServer(('127.0.0.1',8001),NbServer)
        server.serve_forever()

    import os
    import socket
    import json
    import hashlib
    CODE = {
        '1001':'上传文件，从头开始上传'
    }

    def file_md5(file_path):
        """
        文件进行md5加密
        :param file_path:
        :return:
        """
        obj = open(file_path,'rb')
        m = hashlib.md5()
        for line in obj:
            m.update(line)
        obj.close()
        return m.hexdigest()

    def jdt(size,total_size):
        """
        显示进度条
        :return:
        """
        val = int(size / total_size * 100)
        print('
%s%%|%s' % (val, "#" * val,), end='')

    def send_file(exist_size,file_total_size):
        """
        发送文件
        :param exist_size:开始读取字节的位置
        :param file_total_size: 文件总字节大小
        :return:
        """
        f = open(file_path, 'rb')
        f.seek(exist_size)
        send_size = exist_size
        while send_size < file_total_size:
            data = f.read(1024)
            sk.sendall(data)
            send_size += len(data)
            jdt(send_size,file_total_size)
        f.close()
        print('上传成功')

    def upload(file_path):
        """
        文件上传（含断点）
        :param file_path:
        :return:
        """
        file_md5_val = file_md5(file_path)
        file_name = os.path.basename(file_path)
        file_size = os.stat(file_path).st_size

        cmd_dict = {'cmd': 'upload', 'file_name': file_name, 'size': file_size, 'md5': file_md5_val}
        upload_cmd_bytes = json.dumps(cmd_dict).encode('utf-8')
        sk.sendall(upload_cmd_bytes)

        # 2. 等待服务端的响应
        response = json.loads(sk.recv(8096).decode('utf-8'))
        if response['code'] == 1001:
            send_file(0, file_size)
        else:
            # 短点续传
            exist_size = response['size']
            send_file(exist_size,file_size)

    sk = socket.socket()
    sk.connect(('127.0.0.1',8001))

    while True:
        # upload|文件路|径
        user_input = input("请输入要执行的命令")
        # 1. 自定义协议{'cmd':'upload','file_path':'.....'}
        cmd,file_path = user_input.split('|',maxsplit=1)
        if cmd == 'upload':
            upload(file_path)
        elif cmd == 'download':
            pass

总结:

　　(1) CODE自定义状态码;

　　(2) 自定义规范: {'code': 1000};

　　(3) if...else... 用反射;

5、搭建框架

-- nb_server

　　-- bin (放启动的脚本)

　　　　-- start.py

　　-- config (配置文件,多处用到某个值以后可能会被修改，则写到配置文件中)

　　　　-- settings.py

　　-- core (核心代码)

　　　　-- main.py

　　-- lib (存放自定义的模块与包)

　　-- db (放数据)

　　　　-- userInfo.json

　　-- log (日志文件, 供用户查看追责或者公司分析数据)

　　　　-- xx.log

　　-- readme (对程序作说明，说明如何使用此程序)