• 技术点剖析


    目录

    1. 使用Redis实现分布式部署单点登录

    2.基于JWT技术及RSA非对称加密实现真正无状态的单点登录

    3.用户登录对接QQ、微信、微博等三方登录

    4.基于 Django 的后台管理平台,采用 RBAC 权限管理机制

    5.结合DRF框架提供标准RESTful API接口

    6.借助xterm.js、paramiko、Dwebsocket、SSH完成WebSSH在线编程

    7.redis集群实现秒杀和解决超卖问题

    8.集成支付宝、微信、银联等进行聚合支付(怎么保证接口安全)

    9.课程加入路径celery触发更新提醒

    10.进程

    11.线程

    12.协程

    13.select、epool、pool

    1.使用Redis实现分布式部署单点登录(单点登录第一种方法:redis分布式存储解决方案)

    因为这个项目是一个分布式部署的项目,而且我们采用的是nginx负载均衡的策略,导致了每一个服务器都需要开辟一个空间来进行用户信息的维护,消耗了大量的资源,所以,我当时使用到了Redis来作为维护用户信息的空间,将用户登录的信息存入Redis中,并且在存入时设置key的过期时间,所有的服务器共用一个Redis,每次进行操作时只需要去Redis中去判断这个用户是否存在,存在的话就说明这个用户现在是登录状态,不存在就说明这个用户没有登录,或者登录已经失效,让用户进行重新登录。

    • 为什么会存在单点登录的问题

        session默认是存储在当前服务器的内存中,如果是集群,那么只有登录那台机器的内存中才有这个session

        比如说我在A机器登录,B机器是没有这个session存在的,所以需要重新验证

    • 如何解决这个单点登录问题

        不管在那一台web服务器登录,都会把token值存放到我们的一个集中管理的redis服务器中

        但客户端携带token验证的时候,会先从redis中获取,就实现单点登录

    • 现实举例

        比如你写的一个tornado项目,分别部署到A,B两台机器上

        如果直接使用session,那么如果在A机器登录,token只会在A服务器的内存

        因为请求会封不到A,b连个机器,如果这个请求到了B机器,B的内存中没有就会让重新登录

        所以登录A机器的时候我们应该把token值写入到redis中,A/B机器登录,都从redis中获取token进行校验
       

    2.基于JWT技术及RSA非对称加密实现真正无状态的单点登录(单点等第二种方法:JWT)

     

    •  无状态登录原理
    1 在分布式系统中,传统的登录会失效。
    2 
    3 原因是因为各个微服务之间用的不是同一台服务器,我们以前登录判断用户状态是通过服务器中session存的数据,也就是把用户信息保存在session中,现在我们有几台不同的服务器,在这台登录完会有一个session信息,但是跳到另外一个服务器,登录状态就会消失,所以登录状态是无法共享的。
    4 
    5 因此之前我们学的登录在分布式系统中是无法使用的,不能存储到session中。
    • 什么是有状态?
    就是服务端需要记录一下每次会话的客户端信息,从而识别客户端他的身份,根据用户的身份进行请求的处理。 比如:  服务器中的session存储
    例如登录:
    用户登录后,我们把登录者的信息保存在服务端session中,并且给用户一个cookie值,记录对应的session。然后下次请求,用户携带cookie值来,我们就能识别到对应session,从而找到用户的信息。
    缺点是什么?
    
    1.服务端如果搭建集群,集群之间的数据无法共享,于是用户状态无法共享,就不能实现一个跨服务的登录
    2.服务端保存大量数据,增加服务端压力
    3.服务端保存用户状态,无法进行水平扩展
    4.客户端请求依赖服务端,多次请求必须访问同一台服务器
    • 什么是无状态?
    识别用户的身份信息是由客户端自己去携带
    微服务集群中的每个服务,对外提供的都是Rest风格的接口。而Rest风格的一个最重要的规范就是:服务的无状态性,即:
    
    服务端不保存任何客户端请求者信息
    客户端的每次请求必须具备自描述信息,通过这些信息识别客户端身份
    带来的好处是什么呢?
    
    1.客户端请求不依赖服务端的信息,任何多次请求不需要必须访问到同一台服务
    2.服务端的集群和状态对客户端透明
    3.服务端可以任意的迁移和伸缩
    4.减小服务端存储压力

    如何实现无状态

    1 无状态登录的流程:
    2 1.当客户端第一次请求服务时,服务端对用户进行信息认证(登录)
    3 2.认证通过,将用户信息进行加密形成token,返回给客户端,作为登录凭证
    4 3.以后每次请求,客户端都携带认证的token
    5 4.服务的对token进行解密,判断是否有效。

    1 整个登录过程中,最关键的点是:token的安全性
    2 
    3 token是识别客户端身份的唯一标示,如果加密不够严密,被人伪造那就完蛋了。
    4 
    5 采用何种方式加密才是安全可靠的呢?
    6 
    7 我们将采用JWT + RSA非对称加密

    jwt

    • 简介
    JWT,全称是Json Web Token, 是JSON风格轻量级的授权和身份认证规范,可实现无状态、分布式的Web应用授权
    • 数据格式
    JWT包含三部分数据:
    
    Header:头部,通常头部有两部分信息:
        声明类型,这里是JWT
        加密算法,自定义(我们用的RSA)
        我们会对头部进行base64加密(可解密),得到第一部分数据
        
    Payload:载荷,就是有效数据,一般包含下面信息:
        用户身份信息(注意,这里因为采用base64加密,可解密,因此不要存放敏感信息)
        注册声明:如token的签发时间,过期时间,签发人等
        这部分也会采用base64加密,得到第二部分数据
        
    Signature:签名,是整个数据的认证信息。通过base64对头和载荷进行编码,一般根据前两步的数据,再加上服务的的密钥(secret)(不要泄漏,最好周期性更换),通过加密算法生成(RSA算法进行加密,无法进行篡改)。用于验证整个数据完整和可靠性

    jwt交互流程

    1、用户登录
    2、服务的认证,通过后根据secret生成token
    3、将生成的token返回给用户
    4、用户每次请求携带token
    5、服务端利用公钥解读jwt签名,判断签名有效后,从Payload中获取用户信息
    6、处理请求,返回响应结果
    因为JWT签发的token中已经包含了用户的身份信息,并且每次请求都会携带,这样服务的就无需保存用户信息,甚至无需去数据库查询,完全符合了Rest的无状态规范。

    非对称加密

    加密技术是对信息进行编码和解码的技术,编码是把原来可读信息(又称明文)译成代码形式(又称密文),其逆过程就是解码(解密),加密技术的要点是加密算法,加密算法可以分为三类:
    对称加密、非对称加密、不可逆加密
    1 对称加密,如AES(通信双方都持有相同秘钥)
    2 
    3 基本原理:将明文分成N个组,然后使用密钥对各个组进行加密,形成各自的密文,最后把所有的分组密文进行合并,形成最终的密文。
    4 
    5 优势:算法公开、计算量小、加密速度快、加密效率高
    6 缺陷:双方都使用同样密钥,安全性得不到保证
    1 非对称加密,如RSA
    2 
    3 基本原理:同时生成两把密钥:私钥和公钥,私钥隐秘保存,公钥可以下发给信任客户端
    4     私钥加密,持有私钥或公钥才可以解密
    5     公钥加密,持有私钥才可解密
    6     
    7 优点:安全,难以破解
    8 缺点:算法比较耗时
    不可逆加密,如MD5,SHA
    
    基本原理:加密过程中不需要使用密钥,输入明文后由系统直接经过加密算法处理成密文,这种加密后的数据是无法被解密的,无法根据密文推算出明文。
    RSA算法历史:
    
    1977年,三位数学家Rivest、Shamir 和 Adleman 设计了一种算法,可以实现非对称加密。这种算法用他们三个人的名字缩写:RSA

    3.用户登录对接QQ、微信、微博等三方登录

    参考博客:https://www.cnblogs.com/xiaonq/p/12271345.html

    4.基于 Django 的后台管理平台,采用 RBAC 权限管理机制

    • 用户表、角色表、权限表
    1 用户与角色进行关联,角色与权限进行关联
    2 django本身自带角色权限管理机制

    5.结合DRF框架提供标准RESTful API接口

    https://www.cnblogs.com/xiaonq/p/10053234.html

    RESTful不是一种技术,而是一种接口规范,主要规范包括:1.请求方式、2.状态码、3、url规范、4、传参规范

    • 请求方式method

        GET :从服务器取出资源(一项或多项)

        POST :在服务器新建一个资源

        PUT :在服务器更新资源(客户端提供改变后的完整资源)

        PATCH :在服务器更新资源(客户端提供改变的属性)

        DELETE :从服务器删除资源

    • 状态码
     1 '''1. 2XX请求成功'''
     2 # 200 请求成功,一般用于GET与POST请求
     3 # 201 Created - [POST/PUT/PATCH]:用户新建或修改数据成功。
     4 # 202 Accepted - [*]:表示一个请求已经进入后台排队(异步任务)
     5 # 204 NO CONTENT - [DELETE]:用户删除数据成功。
     6 '''2. 3XX重定向'''
     7 # 301 NO CONTENT - 永久重定向
     8 # 302 NO CONTENT - 临时重定向
     9 '''3. 4XX客户端错误'''
    10 # 400 INVALID REQUEST - [POST/PUT/PATCH]:用户发出的请求有错误。
    11 # 401 Unauthorized - [*]:表示用户没有权限(令牌、用户名、密码错误)。
    12 # 403 Forbidden - [*] 表示用户得到授权(与401错误相对),但是访问是被禁止的。
    13 # 404 NOT FOUND - [*]:用户发出的请求针对的是不存在的记录。
    14 # 406 Not Acceptable - [GET]:用户请求的格式不可得(比如用户请求JSON格式,但是只有XML格式)。
    15 # 410 Gone -[GET]:用户请求的资源被永久删除,且不会再得到的。
    16 # 422 Unprocesable entity - [POST/PUT/PATCH] 当创建一个对象时,发生一个验证错误。
    17 '''4. 5XX服务端错误'''
    18 # 500 INTERNAL SERVER ERROR - [*]:服务器内部错误,无法完成请求
    19 # 501 Not Implemented     服务器不支持请求的功能,无法完成请求
    • 面向资源编程: 路径,视网络上任何东西都是资源,均使用名词表示(可复数)

        所有请求实际操作的都是数据库中的表,每一个表当做一个资源

        资源是一个名称,所以RESTful规范中URL只能有名称或名词的复数形式

        https://api.example.com/v1/zoos

        https://api.example.com/v1/animals

        https://api.example.com/v1/employees

        过滤,通过在url上传参的形式传递搜索条件

    • https://api.example.com/v1/zoos?limit=10:指定返回记录的数量

        https://api.example.com/v1/zoos?offset=10:指定返回记录的开始位置

        https://api.example.com/v1/zoos?page=2&per_page=100:指定第几页,以及每页的记录数

        https://api.example.com/v1/zoos?sortby=name&order=asc:指定返回结果按照哪个属性排序,以及排序顺序

        https://api.example.com/v1/zoos?animal_type_id=1:指定筛选条件

    django的DRF

    https://www.cnblogs.com/xiaonq/p/10987889.html

    • 认证
    • 权限
    • 序列化
    • 版本号
    • 限流

    要求:对照上面的博客把,认证,权限,序列化

    6.借助xterm.js、paramiko、Dwebsocket、SSH完成WebSSH在线编程

    websocket:https://www.cnblogs.com/xiaonq/p/12238651.html

    webssh:https://www.cnblogs.com/xiaonq/p/12243024.html

    1.什么是WebSSH?

    • webssh 泛指一种技术可以在网页上实现一个 SSH 终端。
    • ssh终端:用来通过ssh协议,连接服务器进行管理
    • 运维开发方向:堡垒机登录、线上机器管理(因为运维人员不肯能24小时携带电脑)
    • 在线编程:提供一个编程环境

    2.websocket

    • 什么是websocket

        webSocket是一种在单个TCP连接上进行全双工通信的协议

        客户端和服务器之间的数据交换变得更加简单,允许服务端主动向客户端推送数据。

        浏览器和服务器只需要完成一次握手,两者之间就直接可以创建持久性的连接,并进行双向数据传输

    • 远古时期解决方案就是轮训

        客户端以设定的时间间隔周期性地向服务端发送请求,频繁地查询是否有新的数据改动(浪费流量和资源)

    • webSocket应用场景?

        聊天软件:最著名的就是微信,QQ,这一类社交聊天的app

        弹幕:各种直播的弹幕窗口

        在线教育:可以视频聊天、即时聊天以及其与别人合作一起在网上讨论问题…

    • websocket与http区别

        http请求建立连接只能发送一次请求

        websocket建立的长连接,一次连接,后续一直通信,这样节省资源

    • websocket原理

        websocket首先借助http协议(通过在http头部设置属性,请求和服务器进行协议升级,升级协议为websocket的应用层协议)

        建立好和服务器之间的数据流,数据流之间底层还是依靠TCP协议;

        websocket会接着使用这条建立好的数据流和服务器之间保持通信;

        由于复杂的网络环境,数据流可能会断开,在实际使用过程中,我们在onFailure或者onClosing回调方法中,实现重连

    • websocket实现心跳检测的思路

        通过setInterval定时任务每个3秒钟调用一次reconnect函数

        reconnect会通过socket.readyState来判断这个websocket连接是否正常

        如果不正常就会触发定时连接,每4s钟重试一次,直到连接成功

        如果是网络断开的情况下,在指定的时间内服务器端并没有返回心跳响应消息,因此服务器端断开了。

        服务断开我们使用ws.close关闭连接,在一段时间后,可以通过 onclose事件监听到。

    redis常用命令

     1 import redis
     2 r = redis.Redis(host='1.1.1.3', port=6379)
     3 
     4 #1、打印这个Redis缓存所有key以列表形式返回:[b'name222', b'foo']
     5 print( r.keys() )                      # keys *
     6 
     7 #2、清空redis
     8 r.flushall()
     9 
    10 #3、设置存在时间:  ex=1指这个变量只会存在1秒,1秒后就不存在了
    11 r.set('name', 'Alex')                 # ssetex name Alex
    12 r.set('name', 'Alex',ex=1)             # ssetex name 1 Alex
    13 
    14 #4、获取对应key的value
    15 print(r.get('name'))                # get name
    16 
    17 #5、删除指定的key
    18 r.delete('name')                    # del 'name'
    19 
    20 #6、避免覆盖已有的值:  nx=True指只有当字典中没有name这个key才会执行
    21 r.set('name', 'Tom',nx=True)        # setnx name alex
    22 
    23 #7、重新赋值: xx=True只有当字典中已经有key值name才会执行
    24 r.set('name', 'Fly',xx=True)       # set name alex xx
    25 
    26 #8、psetex(name, time_ms, value) time_ms,过期时间(数字毫秒 或 timedelta对象)
    27 r.psetex('name',10,'Tom')          # psetex name 10000 alex
    28 
    29 #10、mset 批量设置值;  mget 批量获取
    30 r.mset(key1='value1', key2='value2')           # mset k1 v1 k2 v2 k3 v3
    31 print(r.mget({'key1', 'key2'}))                # mget k1 k2 k3
    32 
    33 #11、getset(name, value) 设置新值并获取原来的值
    34 print(r.getset('age','100'))                    # getset name tom
    35 
    36 #12、getrange(key, start, end)    下面例子就是获取name值abcdef切片的0-2间的字符(b'abc')
    37 r.set('name','abcdef')
    38 print(r.getrange('name',0,2))
    39 
    40 #13、setbit(name, offset, value)  #对name对应值的二进制表示的位进行操作
    41 r.set('name','abcdef')
    42 r.setbit('name',6,1)    #将a(1100001)的第二位值改成1,就变成了c(1100011)
    43 print(r.get('name'))    #最后打印结果:b'cbcdef'
    44 
    45 #14、bitcount(key, start=None, end=None) 获取name对应的值的二进制表示中 1 的个数
    46 
    47 #15、incr(self,name,amount=1) 自增 name对应的值,当name不存在时,则创建name=amount,否则自增
    48 
    49 #16、derc 自动减1:利用incr和derc可以简单统计用户在线数量
    50 #如果以前有count就在以前基础加1,没有就第一次就是1,以后每运行一次就自动加1
    51 num = r.incr('count')
    52 
    53 #17、num = r.decr('count')    #每运行一次就自动减1
    54 #每运行一次incr('count')num值加1每运行一次decr后num值减1
    55 print(num)            
    56 
    57 #18、append(key, value) 在redis name对应的值后面追加内容
    58 r.set('name','aaaa')
    59 r.append('name','bbbb')
    60 print(r.get('name'))        #运行结果: b'aaaabbbb'
    View Code

    7.redis集群实现秒杀和解决超卖问题

    redis命令:https://www.cnblogs.com/xiaonq/p/7919111.html

    redis解决超卖问题:https://www.cnblogs.com/xiaonq/p/12328934.html

    8.集成支付宝、微信、银联等进行聚合支付(怎么保证接口安全)

    支付宝支付:https://www.cnblogs.com/xiaonq/p/12332990.html

    • 相关的资源:appid、支付宝公钥、app公钥、app私钥、django环境
    • 流程

        生成公钥(app公钥、app私钥)

        APP的公钥要上传到沙箱环境,然后我们要下载支付宝公钥

    • 代码如何实现

        第一:生成支付的url
          在电脑本地生成公钥、私钥(app公钥、app私钥)

          APP的公钥要上传到沙箱环境,然后我们要下载支付宝公钥

          提供(实例化Alipay对象):appid、支付宝公钥、app私钥

          提供(拼接付款的url):订单id、金额、标题、return_url(付款成功的回调接口)、notify_url(付款成功后的异步通知)

        第二:主动查询支付结果

          提供(实例化Alipay对象):appid、支付宝公钥、app私钥

          提供一个 订单id就可以查询当前订单支付结果

    • 支付宝是如何保证数据安全的(数据传输如何保证安全)

    9.课程加入路径celery触发更新提醒

    • celery原理

    • celery应用场景

        异步任务
          发邮件、发送消息
          自动化工单中耗时任务
          所有需要异步处理的请求都可以
        定时任务
          工单系统定时获取超时工单进行延时报警
          对过期会员进行清理

    • celery的场景(生产者消费者)可以使用多线程解决吗

        前端发送一个请求,执行自动化工单需要半个小时,这时候如果使用多线程页面会等待吗?

    10.进程

    • 进程

          https://www.cnblogs.com/xiaonq/p/7905347.html#i3

        进程是资源分配的最小单位( 内存、cpu、网络、io)

        一个运行起来的程序就是一个进程

          什么是程序(程序是我们存储在硬盘里的代码)

          硬盘(256G)、内存条(8G)

          当我们双击图标,打开程序的时候,实际上就是通过I/O操作(读写)内存条里面

          内存条就是我们所指的资源

          CPU分时

            CPU比你的手速快多了,分时处理每个线程,但是由于太快然你觉得每个线程都是独占cpu

            cpu是计算,只有时间片到了,获取cpu,线程真正执行

            当你想使用 网络、磁盘等资源的时候,需要cpu的调度

        进程具有独立的内存空间,所以没有办法相互通信

          进程如何通信

            进程queue

            pipe

            managers

            RabbitMQ、redis等

        为什么需要进程池

          一次性开启指定数量的进程

          如果有十个进程,有一百个任务,一次可以处理多少个(一次性只能处理十个)

          防止进程开启数量过多导致服务器压力过大

    11.线程

    • 有了进程为什么还需要线程

        因为进程不能同一时间只能做一个事情

    • 什么是线程

        线程是操作系统调度的最小单位

        线程是进程正真的执行者,是一些指令的集合(进程资源的拥有者)

        同一个进程下的读多个线程共享内存空间,数据直接访问(数据共享)

        为了保证数据安全,必须使用线程锁

    • GIL全局解释器锁

        在python全局解释器下,保证同一时间只有一个线程运行

        防止多个线程都修改数据

    • 线程锁(互斥锁)

        GIL锁只能保证同一时间只能有一个线程对某个资源操作,但当上一个线程还未执行完毕时可能就会释放GIL,其他线程就可以操作了

        线程锁本质把线程中的数据加了一把互斥锁

          mysql中共享锁 & 互斥锁

            mysql共享锁:共享锁,所有线程都能读,而不能写

            mysql排它锁:排它,任何线程读取这个这个数据的权利都没有

            加上线程锁之后所有其他线程,读都不能读这个数据

          有了GIL全局解释器锁为什么还需要线程锁

            因为cpu是分时使用的

    • 死锁定义

        两个以上的进程或线程在执行过程中,因争夺资源而造成的一种互相等待的现象,若无外力作用,它们都将无法推进下去

    12.协程

    • 什么是协程

        协程微线程,纤程,本质是一个单线程

        协程能在单线程处理高并发

        线程遇到I/O操作会等待、阻塞,协程遇到I/O会自动切换(剩下的只有CPU操作)

        线程的状态保存在CPU的寄存器和栈里而协程拥有自己的空间,所以无需上下文切换的开销,所以快、

        为甚么协程能够遇到I/O自动切换

        协程有一个gevent模块(封装了greenlet模块),遇到I/O自动切换

    • 协程缺点

        无法利用多核资源:协程的本质是个单线程,它不能同时将 单个CPU 的多个核用上,协程需要和进程配合才能运行在多CPU上

        线程阻塞(Blocking)操作(如IO时)会阻塞掉整个程序

    13.select、epool、pool

      https://www.cnblogs.com/xiaonq/p/7907871.html

    • I/O的实质是什么?

        I/O的实质是将硬盘中的数据,或收到的数据实现从内核态 copy到 用户态的过程

        本文讨论的背景是Linux环境下的network IO。

        比如微信读取本地硬盘的过程

          微信进程会发送一个读取硬盘的请求----》操作系统

          只有内核才能够读取硬盘中的数据—》数据返回给微信程序(看上去就好像是微信直接读取)

    • 用户态 & 内核态

        系统空间分为两个部分,一部分是内核态,一部分是用户态的部分

        内核态:内核态的空间资源只有操作系统能够访问

        用户态:我们写的普通程序使用的空间
        

    • select

        只能处理1024个连接(每一个请求都可以理解为一个连接)

        不能告诉用户程序,哪一个连接是活跃的

    • pool

        只是取消了最大1024个活跃的限制

        不能告诉用户程序,哪一个连接是活跃的

    • epool

        不仅取消了1024这个最大连接限制

        而且能告诉用户程序哪一个是活跃的
        

  • 相关阅读:
    python基础学习8(浅拷贝与深拷贝)
    适配器模式(Adapter)
    NHibernate的调试技巧和Log4Net配置
    查看表字段的相关的系统信息
    Asp.net MVC 3 开发一个简单的企业网站系统
    ie8 自动设置 兼容性 代码
    同时安装vs2010和VS2012后IEnumerable<ModelClientValidationRule>编译错误
    各种合同样本
    使用远程桌面的朋友可能经常会遇到“超出最大允许连接数”的问题,
    弹出窗口全屏显示:window.showModalDialog与window.open全屏显示
  • 原文地址:https://www.cnblogs.com/xinzaiyuan/p/12656944.html
Copyright © 2020-2023  润新知