• nginx+uWSGI+django+virtualenv+supervisor


     

     导论

    WSGI是Web服务器网关接口。它是一个规范,描述了Web服务器如何与Web应用程序通信,以及Web应用程序如何链接在一起以处理一个请求,(接收请求,处理请求,响应请求)
    基于wsgi运行的框架有bottle,DJango,Flask,用于解析动态HTTP请求
    支持WSGI的服务器
        wsgiref
            python自带的web服务器
        Gunicorn
            用于linux的 python wsgi Http服务器,常用于各种django,flask结合部署服务器。
        mode_wsgi
            实现了Apache与wsgi应用程序的结合
        uWSGI
            C语言开发,快速,自我修复,开发人员友好的WSGI服务器,用于Python Web应用程序的专业部署和开发。
    
    在部署python程序web应用程序时,可以根据性能的需求,选择合适的wsgi server,不同的wsgi server区别在于并发支持上,有单线程,多进程,多线程,协程的区别,其功能还是近似,无非是请求路由,执行对应的函数,返回处理结果。
    
    
    Django部署
    
    Django的主要部署平台是 WSGI,这是用于Web服务器和应用程序的Python标准。
    
    Django的 startproject管理命令设置一个简单的默认WSGI配置,可以根据需要为您的项目进行调整,并指示任何符合WSGI的应用程序服务器使用。
    
    application 
    使用WSGI部署的关键概念是应用程序服务器用于与代码通信的 application 可调用。它通常在服务器可访问的Python模块中作为名为 application 的对象提供。
    
    startproject 命令创建包含这样的 application 可调用的文件 <project_name>/wsgi.py. ,它被Django的开发服务器和生产WSGI部署使用。
    WSGI服务器从其配置中获取 application 可调用的路径。 Django的内置服务器,即 runserver 命令,从 WSGI_APPLICATION 设置读取它。
    1 首先nginx 是对外的服务接口,外部浏览器通过url访问nginx,
    
    2nginx 接收到浏览器发送过来的http请求,将包进行解析,分析url,如果是静态文件请求就直接访问用户给nginx配置的静态文件目录,直接返回用户请求的静态文件,
    
    如果不是静态文件,而是一个动态的请求,那么nginx就将请求转发给uwsgi,uwsgi 接收到请求之后将包进行处理,处理成wsgi可以接受的格式,并发给wsgi,wsgi 根据请求调用应用程序的某个文件,某个文件的某个函数,最后处理完将返回值再次交给wsgi,wsgi将返回值进行打包,打包成uwsgi能够接收的格式,uwsgi接收wsgi 发送的请求,并转发给nginx,nginx最终将返回值返回给浏览器。
    
    3要知道第一级的nginx并不是必须的,uwsgi完全可以完成整个的和浏览器交互的流程,但是要考虑到某些情况
    
    1 安全问题,程序不能直接被浏览器访问到,而是通过nginx,nginx只开放某个接口,uwsgi本身是内网接口,这样运维人员在nginx上加上安全性的限制,可以达到保护程序的作用。
    
    2负载均衡问题,一个uwsgi很可能不够用,即使开了多个work也是不行,毕竟一台机器的cpu和内存都是有限的,有了nginx做代理,一个nginx可以代理多台uwsgi完成uwsgi的负载均衡。
    
    3静态文件问题,用django或是uwsgi这种东西来负责静态文件的处理是很浪费的行为,而且他们本身对文件的处理也不如nginx好,所以整个静态文件的处理都直接由nginx完成,静态文件的访问完全不去经过uwsgi以及其后面的东西。

    nginx官网

    http://nginx.org/en/

    nginx有关uwsgi模块介绍

    http://nginx.org/en/docs/http/ngx_http_uwsgi_module.html

    咱们都知道django是一个web框架,方便我们快速开发web程序,http请求的动态数据就是由web框架来提供处理的。

    前面也对nginx简单的介绍了,本文将nginx、WSGI、uwsgi、uWSGI、django这几个关系梳理一下。

    wsgi    全称web server gateway interface,wsgi不是服务器,也不是python模块,只是一种协议,描述web server如何和web application通信的规则。
    运行在wsgi上的web框架有bottle,flask,django
    uwsgi    和wsgi一样是通信协议,是uWSGI服务器的单独协议,用于定义传输信息的类型
    uWSGI    是一个web服务器,实现了WSGI协议,uwsgi协议。a
    nginx    web服务器,更加安全,更好的处理处理静态资源,缓存功能,负载均衡,因此nginx的强劲性能,配合uWSGI服务器会更加安全,性能有保障。
    django 高级的python web框架,用于快速开发,解决web开发的大部分麻烦,程序员可以更专注业务逻辑,无须重新造轮子

    逻辑图

    web服务器

    传统的c/s架构,请求的过程是
    客户端 > 服务器 
    服务器 > 客户端
    服务器就是:1.接收请求 2.处理请求 3.返回响应

    web框架层

    HTTP的动态数据交给web框架,例如django遵循MTV模式处理请求。
    HTTp协议使用url定位资源,urls.py将路由请求交给views视图处理,然后返回一个结果,完成一次请求。
    web框架使用者只需要处理业务的逻辑即可。

    如果将一次通信转化为“对话”的过程

    Nginx:hello wsgi,我刚收到一个请求,你准备下然后让django来处理吧

    WSGI:好的nginx,我马上设置环境变量,然后把请求交给django

    Django:谢谢WSGI,我处理完请求马上给你响应结果

    WSGI:好的,我在等着

    Django:搞定啦,麻烦wsgi吧响应结果传递给nginx

    WSGI:太棒了,nginx,响应结果请收好,已经按照要求传递给你了

    nginx:好滴。我把响应交给用户。合作愉快

    Django Nginx+uwsgi 安装配置

    在前面的章节中我们使用 python manage.py runserver 来运行服务器。这只适用测试环境中使用。

    正式发布的服务,需要一个可以稳定而持续的服务器。

    基础开发环境配置

    yum groupinstall "Development tools"
    yum install zlib-devel bzip2-devel pcre-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel

    提前安装好python3环境

    virtualenv

    请确保你的虚拟环境正常工作
    https://www.cnblogs.com/shangping/p/10756217.html

    安装django1.11

    pip3 install django==1.11.14
    #创建django项目mysite
    django-admin startproject mysite
    #创建app01
    python3 manage.py startapp app01

    mysite/settings.py

    #settings.py设置
    ALLOWED_HOSTS = ['*']
    install app01

    mysite/urls.py

    from app01 import views
    urlpatterns = [
        url(r'^admin/', admin.site.urls),
        url(r'^hello_django/', views.hello),
    ]

    app01/views.py

    from django.shortcuts import render,HttpResponse
    
    # Create your views here.
    def hello(request):
        print('request is :',request)
        return HttpResponse('django is ok ')

    安装uWSGI

    进入虚拟环境venv,安装uwsgi
    (venv) [root@slave 192.168.11.64 /opt]$pip3 install uwsgi
    检查uwsgi版本
    (venv) [root@slave 192.168.11.64 /opt]$uwsgi --version
    2.0.17.1
    #检查uwsgi python版本
    uwsgi --python-version

    运行简单的uWSGI                  

    #test.py
    def application(env, start_response):
        start_response('200 OK', [('Content-Type','text/html')])
        return [b"Hello World"] # python3

    #启动一个python
    uwsgi --http :9000 --wsgi-file test.py   (注意http后面有个空格)
    • http :8000: 使用http协议,端口8000
    • wsgi-file test.py: 加载指定的文件  test.py
    
    

    uWsgi热加载python程序

    注意!!!!!!下面的启动命令必须在切换到项目下执行,否则无效!!!!

    在启动命令后面加上参数 uwsgi --http :9000 --module dj1901.wsgi --py-autoreload=1 (后面参数不重新执行启动命令,刷新浏览器生效)
    (dj1901是自己django项目的名字)
    .注意,此时你访问admin发现项目丢失静态文件,因为uwsgi不解析静态文件配置
    (怎样收集静态文件,看下面静态文件相关配置)
    想要收集静态文件得用nginx,用启用nginx的时候,http协议已经不能连接uwsgi,启动得用socket协议
    uwsgi --socket :9000 --module dj1901.wsgi --py-autoreload=1
     nginx的绝对启动路径    /opt/nginx1-12/sbin/nginx -s reload
     
    上面运行django程序相关参数解释:

    #dj1901/wsgi.py 确保找到这个文件
    uwsgi --http :9000 --module dj1901.wsgi
    • module dg1901.wsgi: 加载指定的wsgi模块  (.wsgi指的是wsgi.py  加. 把py 去掉了)

    uwsgi配置文件

    上面的启动得在Django项目下,配置这个启动文件为了在其他目录下启动方便,用下面ini命令启动即可。
    uwsgi支持ini、xml等多种配置方式,本文以 ini 为例, 在/etc/目录下新建uwsgi_nginx.ini,添加如下配置:
    注意:等号左右不要空格
    [uwsgi]
    chdir=/root/Envs/c1902    #django项目所在的绝对路径
    module=c1902.wsgi #项目名字.wsgi ,和上面衔接,用的是相对路径
    home=/root/Envs/venv3 #虚拟环境所在的绝对路
    master=true
    processes=1
    socket=0.0.0.0:9000
    vacuum=true
    # mysite_uwsgi.ini file
    [uwsgi]
    
    # Django-related settings
    # the base directory (full path)
    chdir           = /opt/mysite
    # Django's wsgi file
    module          = mysite.wsgi
    # the virtualenv (full path)
    home            = /opt/venv
    # process-related settings
    # master
    master          = true
    # maximum number of worker processes
    processes       = 1
    # the socket (use the full path to be safe
    socket          = 0.0.0.0:8000
    # ... with appropriate permissions - may be needed
    # chmod-socket    = 664
    # clear environment on exit
    vacuum          = true
    配置详解

    指定配置文件启动命令

    uwsgi --ini  /etc/uwsgi_nginx.ini    (在任何目录下都可以启动了)

    配置nginx结合uWSGI

    配置nginx.conf

     
    worker_processes  1;
    error_log  logs/error.log;
    pid        logs/nginx.pid;
    events {
        worker_connections  1024;
    }
    http {
        include       mime.types;
        default_type  application/octet-stream;
        log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                          '$status $body_bytes_sent "$http_referer" '
                          '"$http_user_agent" "$http_x_forwarded_for"';
        access_log  logs/access.log  main;
        sendfile        on;
        keepalive_timeout  65;

      #nginx反向代理uwsgi
       #nginx自带ngx_http_uwsgi_module模块,起到nginx和uwsgi交互作用
    #通过uwsgi_pass设置服务器地址和协议,将动态请求转发给uwsgi处理
      server { 
    listen 80;
    server_name localhost;
    location / {
         include /opt/nginx1-12/conf/uwsgi_params; #(uwsgi官网提供方法) uwsgi_pass 0.0.0.0:9000; #转发参数,默认80端口转到uwsgi的9000端口 root html; index index.html index.htm; }
         #nginx处理静态页面资源
         location /static { #F12,请求头里可以看静态资源走的路径static,所以需要配置接口
            alias /opt/static/django;  #静态文件放在哪里,指明路径  
    }
         
    #nginx处理媒体资源
         location /media{
            alias /opt/nginx1-12/media;  
             }
    error_page 500 502 503 504 /50x.html;
            location = /50x.html {
                root   html;
            }
        }
    }
     

    配置完启动nginx

    supervisor

    supervisor 是基于 python 的任务管理工具,用来自动运行各种后台任务,当然你也能直接利用 nohup 命令使任务自动后台运行,但如果要重启任务,每次都自己手动 kill 掉任务进程,这样很繁琐,而且一旦程序错误导致进程退出的话,系统也无法自动重载任务。

    这里要配置基于virtualenv的supervisor

    由于supervisor在python3下无法使用,因此只能用python2去下载!!!!!!

    #注意此时已经退出虚拟环境了!!!!!
    yum install python-setuptools
    easy_install supervisor
    或者 yum install -y epel-release && yum install -y supervisor(上述方法下载不了可以用这个)

    通过命令生成supervisor的配支文件

    echo_supervisord_conf > /etc/supervisord.conf

    然后再/etc/supervisord.conf末尾添加上如下代码!!!!!! 

    supervisord.conf配置文件参数解释
    [program:xx]是被管理的进程配置参数,xx是进程的名称
    [program:xx]
    command=/opt/apache-tomcat-8.0.35/bin/catalina.sh run  ; 程序启动命令
    autostart=true       ; 在supervisord启动的时候也自动启动
    startsecs=10         ; 启动10秒后没有异常退出,就表示进程正常启动了,默认为1秒
    autorestart=true     ; 程序退出后自动重启,可选值:[unexpected,true,false],默认为unexpected,表示进程意外杀死后才重启
    startretries=3       ; 启动失败自动重试次数,默认是3
    user=tomcat          ; 用哪个用户启动进程,默认是root
    priority=999         ; 进程启动优先级,默认999,值小的优先启动
    redirect_stderr=true ; 把stderr重定向到stdout,默认false
    stdout_logfile_maxbytes=20MB  ; stdout 日志文件大小,默认50MB
    stdout_logfile_backups = 20   ; stdout 日志文件备份数,默认是10
    ; stdout 日志文件,需要注意当指定目录不存在时无法正常启动,所以需要手动创建目录(supervisord 会自动创建日志文件)
    stdout_logfile=/opt/apache-tomcat-8.0.35/logs/catalina.out
    stopasgroup=false     ;默认为false,进程被杀死时,是否向这个进程组发送stop信号,包括子进程
    killasgroup=false     ;默认为false,向进程组发送kill信号,包括子进程
    apache

    uwsgi

    [program:my]
    command=/root/Envs/venv1901/bin/uwsgi --ini  /etc/uwsgi_nginx.ini  #这里是结合virtualenv的命令 和supervisor的精髓!!!!
    #command= /root/Envs/venv1901/bin/uwsgi --uwsgi 0.0.0.0:8000 --chdir /root/Envs/myjd19 --home=/root/Envs/django14 --module myjd19.wsgi
    #--home指的是虚拟环境目录 --module找到 myjd19/wsgi.py

    最后启动supervisor,完成uWSGI启动django,nginx反向代理

    supervisord -c /etc/supervisord.conf #启动supervisor
    supervisorctl -c /etc/supervisord.conf restart my #重启my项目
    supervisorctl -c /etc/supervisord.conf [start|stop|restart][program|all]

    supervisorctl可以进入交互页面,进行操作简单


    重新加载supervisor

     
    一、添加好配置文件后
    
    二、更新新的配置到supervisord    
    
    supervisorctl update
    三、重新启动配置中的所有程序
    
    supervisorctl reload
    四、启动某个进程(program_name=你配置中写的程序名称)
    
    supervisorctl start program_name
    五、查看正在守候的进程
    
    supervisorctl       (进入交互模式)
    六、停止某一进程 (program_name=你配置中写的程序名称)
    
    supervisorctl stop program_name
    七、重启某一进程 (program_name=你配置中写的程序名称)
    
    supervisorctl restart program_name
    八、停止全部进程
    
    supervisorctl stop all
    注意:显示用stop停止掉的进程,用reload或者update都不会自动重启。
     

     django的静态文件与nginx配置

    django项目下/settings.py文件最后进行配置

    第一步:
    STATIC_ROOT='/opt/static/django' #nginx.conf配置文件中需要配置相同静态资源路径 STATIC_URL = '/static/'

    第二步:

    配置完之后,切换到项目下,建立一个static目录,收集静态资源用,否则报错!
    python3 manage.py collectstatic 

    上述的参数STATIC_ROOT用在哪

    通过收集所有你使用的静态文件保存到STATIC_ROOT!

    STATIC_ROOT 文件夹 是用来将所有STATICFILES_DIRS中所有文件夹中的文件,以及各app中static中的文件都复制过来
    # 把这些文件放到一起是为了用nginx等部署的时候更方便
    (django之后会用到,可以了解下)
    STATICFILES_DIRS=[
        os.path.join(BASE_DIR,"static"),
    ]

    参考文档:http://uwsgi-docs-zh.readthedocs.io/zh_CN/latest/tutorials/Django_and_nginx.html

     uwsgi热加载:https://uwsgi-docs-zh.readthedocs.io/zh_CN/latest/Management.html

  • 相关阅读:
    Win7双击任务栏图标导致窗口还原的问题
    一致性哈希算法及其在分布式系统中的应用(转)
    CAP理论(转)
    从Android界面开发谈起(转)
    Android开发入门之Window 环境概念介绍(转)
    数据库缓存技术(转)
    VoltDB开篇 简介(转)
    window下如何让php支持openssl(转)
    mysql分表的3种方法(转)
    linux crontab 每10秒执行一次
  • 原文地址:https://www.cnblogs.com/shangping/p/10886278.html
Copyright © 2020-2023  润新知