项目上线

项目上线

mysql，redis，nginx，uwsgi，python

lnmp：linux，nginx，mysql，php/python
nginx ，apache，uwsgi，gunicorn，php，jboss，tomcat，weblogic

	-nginx ，apache，IIS：http的转发

	-uwsgi（c语言写的），gunicorn（python写的）:符合WSGI协议的web服务器，把http请求，转成python语言能识别的字典。。
    -tomcat（免费），jboss（收费）：等同于咱们的uwsgi，符合javaweb的协议
    -php（服务器）：等同于咱们的uwsgi，符合php的协议
    
mysql安装：rpm包安装
redis安装：源码安装
nginx安装：源码安装（yum）
python安装：源码安装（yum安装） yum install pyton3

vue项目上线：npm run build---》index.html-->传到服务器--》使用nginx代理
djago上线+uwsgi（虚拟和真实都装，运行在虚拟环境运行）
	-把依赖的模块装上（坑特多）
    -收集静态文件（前后端混合开发，必须做）
    -wusgi的配置xml， ini
    -ps -aux |grep uwsgi
    -8000端口访问不到可能存在的问题
    	-阿里云限制了（安全组8000端口没开）
        -只要服务器监听着8000端口，一定响应（ngix跑着）
        -nginx转发给uwsgi监听的8808端口（是不是被uwsgi监听着）
        -uwsgi压根没跑起来
        -uwsgi起来了，代码内部报错
        -代码内部报错（数据库有问题）
        
安装包的方式：https://blog.csdn.net/danchenziDCZ/article/details/82822555

阿里云

# ssh连接 
ssh root@39.99.192.127
    
# 管理员权限执行命令
sudo 命令

# 停止当前命令
ctrl + c 停止

云服务器配置

配置pip源：阿里云不用配置，默认配置阿里源

1）创建pip配置路径
>: mkdir ~/.pip

2）进入目录编辑配置文件：填入下方内容
cd ~/.pip && vim pip.conf

[global]
index-url = http://pypi.douban.com/simple
[install]
use-mirrors =true
mirrors =http://pypi.douban.com/simple/
trusted-host =pypi.douban.com

配置终端

1）编辑配置文件
>: vim ~/.bash_profile

2）将原来内容全部删除掉
>: ggdG

3）进入编辑状态：填入下方两行
>: i

export PATH=$PATH:$HOME/bin
PS1='Path:w
>:'

4）退出编辑状态
>: esc

5）保存修改并退出
>: :wq

6）生效配置
>: source ~/.bash_profile

更新系统软件包

>: yum update -y

安装软件管理包和可能使用的依赖

>: yum -y groupinstall "Development tools"
>: yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel psmisc libffi-devel

检测是否成功：会将git作为依赖安装号

>: git

本地项目上线前准备

项目中的路径跟换为公网路径

settings.js

base_url: 'http://39.99.192.127:8000', 

Vue前端项目

# 本地终端操作
1）本地项目打包，前往luffycity项目目录下，vue项目
>: cnpm run build

2）本地终端上传
>: scp -r dist root@39.99.192.127:~

# 开始服务器连接，在服务器终端操作
3）移动并重命名
mv ~/dist /home/html

4）去向Nginx配置目录，备份配置，完全更新配置：填入下方内容
>: cd /usr/local/nginx/conf
>: mv nginx.conf nginx.conf.bak
>: vim nginx.conf
>: i

events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    server {
        listen 80;
        server_name  127.0.0.1; # 改为自己的域名，没域名修改为127.0.0.1:80
        charset utf-8;
        location / {
            root /home/html; # html访问路径
            index index.html; # html文件名称
            try_files $uri $uri/ /index.html; # 解决单页面应用刷新404问题
        }
    }
}   

5）退出
>: esc
>: :wq

6）重启nginx
>: nginx -s reload

django后端项目

prod.py：上线的配置文件，内容拷贝dev.py

# 关闭测试环境
DEBUG = False
ALLOWED_HOSTS = [
    '39.99.192.127'  # 公网ip地址
]

CORS_ORIGIN_ALLOW_ALL = True  # 允许所有跨域


# 静态文件配置：上线后还有额外配置，见下方 后台样式问题
STATIC_URL = '/static/'


# 后台http根路径
# BASE_URL = 'http://127.0.0.1:8000'
BASE_URL = 'http://39.99.192.127:8000'
# 前台http根路径
# LUFFY_URL = 'http://127.0.0.1:8080'
LUFFY_URL = 'http://39.99.192.127:80'
# 订单支付成功的后台异步回调接口
NOTIFY_URL = BASE_URL + '/order/success/'
# 订单支付成功的前台同步回调接口
RETURN_URL = LUFFY_URL + '/order/pay/success/'


REST_FRAMEWORK = {
    # 渲染模块
    'DEFAULT_RENDERER_CLASSES': [
        'rest_framework.renderers.JSONRenderer',
        # 'rest_framework.renderers.BrowsableAPIRenderer',
    ],
    # ...
}

wsgi.py 、manage_prod.py该文件就是manage.py的一个副本

# 需要做上线修改的内容
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'luffyapi.settings.prod')

导出项目环境 requiredments

1）进入本地项目根目录
>: cd 项目根目录

2）本地导出项目环境
>: pip3 freeze > packages.txt

3）如果环境中有特殊的安装包，需要处理一下xadmin
packages.txt中的
	xadmin==2.0.1
要被替换为
	https://codeload.github.com/sshwsfc/xadmin/zip/django2

项目提交到远程git仓库

1）去向本地项目仓库
>: cd 项目根目录

2）本地版本库操作
>: git status
>: git add .
>: git commit -m '项目2.0上线'

3）提交到远程版本库
>: git pull origin master
>: git push origin master

线上操作

git同步上线项目

1）创建存放后台项目的目录
>: mkdir /home/project

2）进入后台项目管理目录同步git仓库中的项目
>: cd /home/project
>: git clone https://gitee.com/doctor_owen/luffyapi.git

虚拟环境

1）创建线上luffy项目虚拟环境
>: mkvirtualenv luffy
>: workon luffy

2）安装所需环境，在packages.txt所在目录下安装执行packages.txt文件
>: pip install uwsgi
>: pip install -r /home/project/luffyapi/packages.txt

完成uwsgi与nginx后台项目配置

1）进行uwsgi服务配置，内容如下
>: vim /home/project/luffyapi/luffyapi.xml

<uwsgi>    
   <socket>127.0.0.1:8808</socket> <!-- 内部端口，自定义 --> 
   <chdir>/home/project/luffyapi/</chdir> <!-- 项目路径 -->            
   <module>luffyapi.wsgi</module>  <!-- luffyapi为wsgi.py所在目录名--> 
   <processes>4</processes> <!-- 进程数 -->     
   <daemonize>uwsgi.log</daemonize> <!-- 日志文件 -->
</uwsgi>

4）去向Nginx配置目录，备份配置，完全更新配置：填入下方内容
>: vim /usr/local/nginx/conf/nginx.conf

events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    server {
        listen 80;
        server_name  127.0.0.1; # 改为自己的域名，没域名修改为127.0.0.1:80
        charset utf-8;
        location / {
            root /home/html; # html访问路径
            index index.html; # html文件名称
            try_files $uri $uri/ /index.html; # 解决单页面应用刷新404问题
        }
    }
    # 新增的server
    server {
        listen 8000;
        server_name  127.0.0.1; # 改为自己的域名，没域名修改为127.0.0.1:80
        charset utf-8;
        location / {
           include uwsgi_params;
           uwsgi_pass 127.0.0.1:8808;  # 端口要和uwsgi里配置的一样
           uwsgi_param UWSGI_SCRIPT luffyapi.wsgi;  #wsgi.py所在的目录名+.wsgi
           uwsgi_param UWSGI_CHDIR /home/project/luffyapi/; # 项目路径
        }
    }
} 

数据库设置：docker中操作

1）管理员连接数据库
>: mysql -uroot -pOwen1234?

2）创建数据库
>: create database luffyapi default charset=utf8;

3）设置权限账号密码：账号密码要与项目中配置的一致
>: grant all privileges on luffyapi.* to 'luffyapi'@'%' identified by 'Luffy123?';
>: grant all privileges on luffyapi.* to 'luffyapi'@'localhost' identified by 'Luffy123?';
>: flush privileges;

4）退出mysql
>: quit;

完成项目的数据库迁移：Django采用2.0.7

# 必须在luffy环境下
1）数据库迁移
>: cd /home/project/luffyapi/
>: python manage_prod.py migrate

2）创建超级用户
>: python manage_prod.py createsuperuser
# 账号密码：admin|Admin123

Django不是2.0.7的其他版本，数据库迁移保存解决方案：修改源码

1）修改base.py源码
>: vim /root/.virtualenvs/luffy/lib/python3.6/site-packages/django/db/backends/mysql/base.py

方案：36，37行注释掉

2）修改operations.py源码
>: vim /root/.virtualenvs/luffy/lib/python3.6/site-packages/django/db/backends/mysql/operations.py

方案：146行添加
	query = query.encode()

启动uwsgi，重启nginx测试

"""
1）启动uwsgi
>: uwsgi -x /home/project/luffyapi/luffyapi.xml

2）重启nginx
>: nginx -s reload
"""

后台样式：admin、rest_framework、xadmin等框架的静态样式也需要处理

修改线上配置

1）编辑线上配置文件
>: vim /home/project/luffyapi/luffyapi/settings/pro.py


2）修改static配置，新增STATIC_ROOT、STATICFILES_DIRS
STATIC_URL = '/static/'
STATIC_ROOT = '/home/project/luffyapi/luffyapi/static'  
STATICFILES_DIRS = (os.path.join(BASE_DIR, "static"),)

3）退出编辑
>: esc
>: :wq

迁移静态样式：项目目录下

1）项目目录下没有 static 文件夹需要新建
>: mkdir /home/project/luffyapi/luffyapi/static

2）完成静态文件迁移
>: python /home/project/luffyapi/manage_prod.py collectstatic

Nginx配置静态路径

1）修改nginx配置
>: vim /usr/local/nginx/conf/nginx.conf

events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    server {
        listen 80;
        server_name  127.0.0.1; # 改为自己的域名，没域名修改为127.0.0.1:80
        charset utf-8;
        location / {
            root /home/html; # html访问路径
            index index.html; # html文件名称
            try_files $uri $uri/ /index.html; # 解决单页面应用刷新404问题
        }
    }
    server {
        listen 8000;
        server_name  127.0.0.1; # 改为自己的域名，没域名修改为127.0.0.1:80
        charset utf-8;
        location / {
           include uwsgi_params;
           uwsgi_pass 127.0.0.1:8808;  # 端口要和uwsgi里配置的一样
           uwsgi_param UWSGI_SCRIPT luffyapi.wsgi;  #wsgi.py所在的目录名+.wsgi
           uwsgi_param UWSGI_CHDIR /home/project/luffyapi/; # 项目路径
        }
        # 新增的配置静态文件
        location /static {
            alias /home/project/luffyapi/luffyapi/static;
        }
    }
}

2）退出
>: esc
>: :wq

启动服务

1）关闭 uwsgi，重新启动 uwsgi
>: pkill -f uwsgi -9
>: uwsgi -x /home/project/luffyapi/luffyapi.xml

2）关闭 nginx，重新启动 nginx
>: nginx -s stop
>: nginx

线上项目测试

1）本地浏览器访问xadmin后台
http://39.99.192.127:8000/xadmin

2）登录，录入测试数据
# 账号密码：admin|Admin123

3）或是导出本地数据库为sql，再在线上导入sql
>: mysql -h 39.99.192.127 -P 3306 -u luffy -p
>: Luffy123?
>: use luffy
>: 复制之前的数据备份

重点 重点 重点

# 1、真实环境和虚拟环境都要安装uwsgi，将真实环境下的uwsgi建立软连接

# 2、redis服务一定要后台启动：redis-server &

# 3、uwsgi启动django项目一定要进入虚拟环境下，因为环境都是安装在虚拟环境中

# 4、服务器的日志都会被记录在于uwsgi配置文件 luffyapi.xml 同类目下的 uwsgi.log 中

云服务器环境搭建

安装redis

1）前往用户根目录
>: cd ~

2）下载redis-5.0.5
>: wget http://download.redis.io/releases/redis-5.0.5.tar.gz
>: scp -r C:UsersdellDesktoppkg
edis-5.0.5.tar.gz root@39.99.192.127:~

3）解压安装包
>: tar -xf redis-5.0.5.tar.gz

4）进入目标文件
>: cd redis-5.0.5

5）编译环境
>: make

6）复制环境到指定路径完成安装
>: cp -r ~/redis-5.0.5 /usr/local/redis

9）建立软连接
>: ln -s /usr/local/redis/src/redis-server /usr/bin/redis-server
>: ln -s /usr/local/redis/src/redis-cli /usr/bin/redis-cli

10）后台运行redis
>: cd /usr/local/redis
>: redis-server &

11）测试redis环境
>: redis-cli

12）关闭redis服务
>: pkill -f redis -9

安装mysql

1）前往用户根目录
>: cd ~

2）下载mysql57
>: wget http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

也可以本地上传，这条命令要在本地终端上执行
>: scp -r C:mysql57-community-release-el7-10.noarch.rpm root@39.99.192.127:~

3）安装mysql57
>: yum -y install mysql57-community-release-el7-10.noarch.rpm
>: yum -y install mysql-community-server

4）启动mysql57并查看启动状态
>: systemctl start mysqld.service
>: systemctl status mysqld.service

5）查看默认密码并登录
>: grep "password" /var/log/mysqld.log
>: mysql -uroot -p

6）修改密码
>: ALTER USER 'root'@'localhost' IDENTIFIED BY 'new password';

安装python

1）前往用户根目录
>: cd ~

2）下载 或 上传 Python3.6.7
# 服务器终端
>: wget https://www.python.org/ftp/python/3.6.7/Python-3.6.7.tar.xz

# 本地终端，给服务器上传
>: scp -r 本地Python-3.6.7.tar.xz ssh root@39.99.192.127:服务器路径
>: scp -r C:UsersdellDesktoppkgPython-3.6.7.tar.xz ssh root@39.99.192.127:~

3）解压安装包
>: tar -xf Python-3.6.7.tar.xz

4）进入目标文件
>: cd Python-3.6.7

5）配置安装路径：/usr/local/python3
>: ./configure --prefix=/usr/local/python3

6）编译并安装
>: make && sudo make install

7）建立软连接：终端命令 python3，pip3
>: ln -s /usr/local/python3/bin/python3.6 /usr/bin/python3
>: ln -s /usr/local/python3/bin/pip3.6 /usr/bin/pip3

8）删除安装包与文件：
>: rm -rf Python-3.6.7
>: rm -rf Python-3.6.7.tar.xz

安装虚拟环境

1）安装依赖
>: pip3 install virtualenv
>: pip3 install virtualenvwrapper

2）建立虚拟环境软连接
>: ln -s /usr/local/python3/bin/virtualenv /usr/bin/virtualenv

3）配置虚拟环境：填入下方内容
>: vim ~/.bash_profile

VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3
source /usr/local/python3/bin/virtualenvwrapper.sh

4）退出编辑状态
>: esc

5）保存修改并退出
>: :wq

6）更新配置文件内容
>: source ~/.bash_profile

7）虚拟环境默认根目录：~/.virtualenvs

安装uwsgi

1）在真实环境下安装
pip3 install uwsgi

2）建立软连接
ln -s /usr/local/python3/bin/uwsgi /usr/bin/uwsgi

虚拟和真实环境都需要安装

安装nginx

1）前往用户根目录
>: cd ~

2）下载nginx1.13.7
>: wget http://nginx.org/download/nginx-1.13.7.tar.gz

3）解压安装包
>: tar -xf nginx-1.13.7.tar.gz

4）进入目标文件
>: cd nginx-1.13.7

5）配置安装路径：/usr/local/nginx
>: ./configure --prefix=/usr/local/nginx

6）编译并安装
>: make && sudo make install

7）建立软连接：终端命令 nginx
>: ln -s /usr/local/nginx/sbin/nginx /usr/bin/nginx

8）删除安装包与文件：
>: rm -rf nginx-1.13.7
>: rm -rf nginx-1.13.7.tar.xz

9）测试Nginx环境，服务器运行nginx，本地访问服务器ip
>: nginx
>: 服务器绑定的域名 或 ip:80


#Nginx命令
1）启动
>: nginx

2）关闭nginx
>: nginx -s stop

3）重启nginx
>: nginx -s reload

4）查看端口，强行关闭
>: ps -aux|grep nginx
>: kill <pid:进程编号>
 


	Nginx (engine x) 是一个高性能的HTTP和反向代理web服务器
	Apache和Nginx最核心的区别在于 apache 是同步多进程模型，一个连接对应一个进程；而 nginx 是异步的，多个连接（万级别）可以对应一个进程
    
   http请求转发
   反向代理服务器
   负载均衡
   动静分离

nginx转发静态文件（前端项目）

# 1 mv ~/dist /home/html
# 2 cd /usr/local/nginx/conf
# 3 vim nginx.conf

events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    server {
        listen 80;
        server_name  127.0.0.1; # 改为自己的域名，没域名修改为127.0.0.1:80
        charset utf-8;
        location / {
            root /home/html; # html访问路径
            index index.html; # html文件名称
            try_files $uri $uri/ /index.html; # 解决单页面应用刷新404问题
        }
    }
}   

esc
:wq   # 保存并推出
    
# 重启nginx，只有启动了，.pid
nginx -s reload

转发动态请求（uwsgi+django项目）

# 1 mkdir /home/project
# 2 cd /home/project
# 3 git clone xxxx
安装虚拟环境，创建虚拟环境,在虚拟环境中，安装包，运行
安装项目依赖
pip install -r requirements.txt  （在指定的目录下）

# 6 进行uwsgi服务配置，内容如下
vim /home/project/luffyapi/luffyapi.xml

<uwsgi>    
   <socket>127.0.0.1:8808</socket> <!-- 内部端口，自定义 --> 
   <chdir>/home/project/luffyapi/</chdir> <!-- 项目路径 -->            
   <module>luffyapi.wsgi</module>  <!-- luffyapi为wsgi.py所在目录名--> 
   <processes>4</processes> <!-- 进程数 -->     
   <daemonize>uwsgi.log</daemonize> <!-- 日志文件 -->
</uwsgi>

# 7 Nginx配置目录，备份配置，完全更新配置：填入下方内容
>: vim /usr/local/nginx/conf/nginx.conf

events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    server {
        listen 80;
        server_name  127.0.0.1; # 改为自己的域名，没域名修改为127.0.0.1:80
        charset utf-8;
        location / {
            root /home/html; # html访问路径
            index index.html; # html文件名称
            try_files $uri $uri/ /index.html; # 解决单页面应用刷新404问题
        }
    }
    # 新增的server
    server {
        listen 8000;
        server_name  127.0.0.1; # 改为自己的域名，没域名修改为127.0.0.1:80
        charset utf-8;
        location / {
           include uwsgi_params;
           uwsgi_pass 127.0.0.1:8808;  # 端口要和uwsgi里配置的一样
           uwsgi_param UWSGI_SCRIPT luffyapi.wsgi;  #wsgi.py所在的目录名+.wsgi
           uwsgi_param UWSGI_CHDIR /home/project/luffyapi/; # 项目路径
        }
    }
} 

        
#9 mysql的root用户，登录，创建表luffyapi，创建用户，授权
    1）管理员连接数据库
    >: mysql -uroot -p

    2）创建数据库
    >: create database luffyapi default charset=utf8;

    3）设置权限账号密码：账号密码要与项目中配置的一致
    >: grant all privileges on luffyapi.* to 'luffyapi'@'%' identified by 'Luffy123?';
    >: grant all privileges on luffyapi.* to 'luffyapi'@'localhost' identified by 'Luffy123?';
    >: flush privileges;

    4）退出mysql
    >: quit;
        
# 10 数据迁移创建超级用户
python manage_pro.py makemigrations
python manage_pro.py migrate
python manage_pro.py createsuperuser


#11 启动uwsgi和nginx（后端项目就可以了）
    1）启动uwsgi
    >: uwsgi -x /home/project/luffyapi/luffyapi.xml
    2）重启nginx
    >: nginx -s reload

补充

1 gitlab，zabbix（监控，php写），jekins（java写的，持续集成工具）,普罗尼修斯（go写的监控），docker，k8s，ansiable（python写的自动化运维工具），salstack（Python，自动化运维工具）
2 devops