35-项目上线

项目上线

一、购买服务器

1. 购买阿里云服务器
2. 短期或是测试使用，创建 按量收费 服务器，可以随时删除，删除后不再计费，但要保证账户余额100元以上

二、连接服务器

1. 执行连接服务器命令

# 登录命令: ssh 用户@阿里公网ip
ssh root@39.99.192.127

抛出异常: WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!

 # 错误: 
ssh 链接远程服务器出现错误

# 原因： 
第一次ssh链接的时候会生成一个认证凭据，存储在客户端中的known_hosts，如果服务器地址重置or重新安装了，就会产生这个问题，巴拉巴拉。。。

# 解决：
ssh-keygen -R 服务器地址

# 然后重新链接

2. 下载Xftp实现更方便的文件传输

简介: Xftp是一款基于MS windows 平台的功能强大的SFTP、FTP 文件传输软件，通过该软件，MS windows 用户能安全地在UNIX/Linux和Windows PC之间传输文件

下载: http://www.xitongzhijia.net/soft/166767.html

3. 下载FinalShell实现ssh远程连接

简介: Finalshell是一款一体化的的服务器，网络管理软件，软件支持多标签、批量服务器管理、自定义命令参数、SSH加速等功能，不仅是SSH客户端，还是功能强大的开发，运维工具，充分满足开发，运维需求。

下载: https://www.jianshu.com/p/94e6bb9e52d1

三、服务器命令

1. 管理员权限

# 提示: 以下所有的服务器命令均可以在管理员权限下执行
sudo 命令

2. 配置终端(推荐使用哪默认终端)

# 编辑配置文件
vim ~/.bash_profile

# 将原来内容全部删除掉
ggdG

# 进入编辑状态：填入下方两行
i

export PATH=$PATH:$HOME/bin
PS1='Path:w
>:'

# 退出编辑状态
esc

# 保存修改并退出
:wq

# 生效配置
source ~/.bash_profile

3. Linux服务器centos修改主机名字root@houmian的名字 主机名

# 设置完毕, 重启即可!
hostnamectl set-hostname 主机名

四、重要(更新源+下载依赖)

# 更新系统软件包
yum update -y

# 安装软件管理包和可能使用的依赖
yum -y groupinstall "Development tools"
yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel psmisc libffi-devel -y

# 检测是否成功：会将git作为依赖安装号
git

五、安装MySQL

# 1）前往用户根目录
cd ~

# 2）下载mysql57
wget http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

# 也可以本地上传，这条命令要在本地终端上执行
# scp -r C:mysql57-community-release-el7-10.noarch.rpm root@39.99.192.127:~

# 3）安装mysql57
yum -y install mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql-community-server

# 4）启动mysql57并查看启动状态
systemctl start mysqld.service
systemctl status mysqld.service

# 5）查看默认密码并登录
grep "password" /var/log/mysqld.log
mysql -uroot -p

# 6）修改密码
ALTER USER 'root'@'localhost' IDENTIFIED BY 'new password';

六、安装Redis

# 1）前往用户根目录
cd ~

# 2）下载redis-5.0.5
wget http://download.redis.io/releases/redis-5.0.5.tar.gz
# 也可以本地上传，这条命令要在本地终端上执行
# scp -r C:UsersdellDesktoppkg
edis-5.0.5.tar.gz root@39.99.192.127:~

# 3）解压安装包
tar -xf redis-5.0.5.tar.gz

# 4）进入目标文件
cd redis-5.0.5

# 5）编译环境
make

# 6）复制环境到指定路径完成安装
cp -r ~/redis-5.0.5 /usr/local/redis

# 7）配置redis可以后台启动：修改下方内容
vim /usr/local/redis/redis.conf

daemonize yes

# 8）完成配置修改
esc
:wq

# 9）建立软连接
ln -s /usr/local/redis/src/redis-server /usr/bin/redis-server
ln -s /usr/local/redis/src/redis-cli /usr/bin/redis-cli

# 10）后台运行redis
cd /usr/local/redis
redis-server ./redis.conf &

ctrl + c

# 11）测试redis环境
redis-cli
ctrl + c

# 12）关闭redis服务
pkill -f redis -9

# 13) 删除安装包与文件
cd
re -rf redis-5.0.5.tar.gz
rm -rf redis-5.0.5.tar.gz

七、安装Python3.6

1. 快速安装

# 1）前往用户根目录
cd ~

# 2）下载 或 上传 Python3.6.7
# 服务器终端
wget https://www.python.org/ftp/python/3.6.7/Python-3.6.7.tar.xz

# 本地终端，给服务器上传
# scp -r 本地Python-3.6.7.tar.xz ssh root@39.99.192.127:服务器路径
# scp -r C:UsersdellDesktoppkgPython-3.6.7.tar.xz ssh root@39.99.192.127~

# 3）解压安装包
tar -xf Python-3.6.7.tar.xz

# 4）进入目标文件
cd Python-3.6.7

# 5）配置安装路径：/usr/local/python3
./configure --prefix=/usr/local/python3

# 6）编译并安装
make && sudo make install

# 7）建立软连接：终端命令 python3，pip3
ln -s /usr/local/python3/bin/python3.6 /usr/bin/python3
ln -s /usr/local/python3/bin/pip3.6 /usr/bin/pip3

# 8）删除安装包与文件
cd
rm -rf Python-3.6.7
rm -rf Python-3.6.7.tar.xz

2. 配置pip源：阿里云不用配置，默认配置阿里源

# 1）创建pip配置路径
mkdir ~/.pip

# 2）进入目录编辑配置文件：填入下方内容
cd ~/.pip && vim pip.conf

[global]
index-url = http://pypi.douban.com/simple
[install]
use-mirrors =true
mirrors =http://pypi.douban.com/simple/
trusted-host =pypi.douban.com

3. zipimport.ZipImportError: can't decompress data; zlib not available

# 错误原因: 缺少zlib依赖包, 一般位于编译安装时出错.
# 解决: 安装依赖, 再次编译.
yum install zlib* -y
make install

八、安装uwsgi

# 1）在真实环境下安装
pip3 install uwsgi

# 2）建立软连接
ln -s /usr/local/python3/bin/uwsgi /usr/bin/uwsgi

九、安装虚拟环境

# 1）安装依赖
pip3 install virtualenv
pip3 install virtualenvwrapper

# 2）建立虚拟环境软连接
ln -s /usr/local/python3/bin/virtualenv /usr/bin/virtualenv

# 3）配置虚拟环境：填入下方内容
vim ~/.bash_profile

VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3
source /usr/local/python3/bin/virtualenvwrapper.sh

# 4）退出编辑状态
esc

# 5）保存修改并退出
:wq

# 6）更新配置文件内容
source ~/.bash_profile

# 7）虚拟环境默认根目录：~/.virtualenvs

十、安装Nginx

1. 快速安装

# 1）前往用户根目录
cd ~

# 2）下载nginx1.13.7
wget http://nginx.org/download/nginx-1.13.7.tar.gz

# 3）解压安装包
tar -xf nginx-1.13.7.tar.gz

# 4）进入目标文件
cd nginx-1.13.7

# 5）配置安装路径：/usr/local/nginx
./configure --prefix=/usr/local/nginx

# 6）编译并安装
make && sudo make install

# 7）建立软连接：终端命令 nginx
ln -s /usr/local/nginx/sbin/nginx /usr/bin/nginx

# 8）删除安装包与文件：
cd
rm -rf nginx-1.13.7
rm -rf nginx-1.13.7.tar.xz

# 9）测试Nginx环境，服务器运行nginx，本地访问服务器ip
nginx
服务器绑定的域名 或 ip:80

2. 错误：./configure: error: the HTTP rewrite module requires the PCRE library

# 在配置信息:  ./configure --prefix=/usr/local/nginx 出现了错误
# 安装pcre-devel解决问题
yum -y install pcre-devel

3. Nginx命令

# 1）启动
nginx

# 2）关闭nginx
nginx -s stop

# 3）重启nginx
nginx -s reload

# 4）查看端口，强行关闭
ps -aux | grep nginx
kill <pid:进程编号>

4. nginx转发流程图

十一、路飞项目部署：Nginx+uwsgi+django+vue

1. 配置前台项目

<1>. 上线前配置

settings.js

base_url : 'http://公网ip:8000',   // 正式环境，django项目就是跑在8000端口上的

<2>. 上线

# 本地终端操作
# 1）本地项目打包，前往luffycity项目目录下
cnpm run build

# 2）本地终端上传
scp -r dist root@39.99.192.127:~

# 开始服务器连接，在服务器终端操作
# 3）移动并重命名
mv ~/dist /home/html

# 4）去向Nginx配置目录，备份配置，完全更新配置：填入下方内容
cd /usr/local/nginx/conf
mv nginx.conf nginx.conf.bak
vim nginx.conf
i

events {
    worker_connections  1024;  # 连接数
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    server {
        listen 80;
        server_name  127.0.0.1; # 改为自己的域名，没域名修改为127.0.0.1:80
        charset utf-8;
        location / {
            root /home/html; # html访问路径
            index index.html; # html文件名称
            try_files $uri $uri/ /index.html; # 解决单页面应用刷新404问题
        }
    }
}   

# 5）退出
esc
:wq

# 6）重启nginx
nginx -s reload

<3>. 总结

# 1. 修改IP  
    assets/js/settings.js地址修改成公网IP
    
# 2. 打包项目
    项目中打开终端执行 cnpm run build 将vue项目打包成dist(css,js,html)文件 (注意: 本地打包环境要有node_modules)
    
# 3. 上传文件
    scp -r 本地dst路径 root@公网IP:远端路径
        
# 4. 移动并重名名
    mv ~/dist /home/html  
    
# 5. 配置nginx实现动态转发. 
    # 先将nginx.conf备份
    cd /usr/local/nginx/conf
    mv nginx.conf nginx.conf.bak
    # 配置nginx
    vim /usr/local/nginx/conf nginx.conf
    
# 6. 重启nginx
    nginx -s reload    

2. 路飞后台部署

<1>. 本地操作：上线前配置

pro.py：上线的配置文件，内容拷贝dev.py，前身就是settings.py

# 关闭测试环境
DEBUG = False
ALLOWED_HOSTS = [
    '39.99.192.127'  # 公网ip地址
]

CORS_ORIGIN_ALLOW_ALL = True  # 允许所有跨域


# 静态文件配置：上线后还有额外配置，见下方 后台样式问题
STATIC_URL = '/static/'


# 后台http根路径
# BASE_URL = 'http://127.0.0.1:8000'
BASE_URL = 'http://39.99.192.127:8000'
# 前台http根路径
# LUFFY_URL = 'http://127.0.0.1:8080'
LUFFY_URL = 'http://39.99.192.127:80'
# 订单支付成功的后台异步回调接口
NOTIFY_URL = BASE_URL + '/order/success/'
# 订单支付成功的前台同步回调接口
RETURN_URL = LUFFY_URL + '/order/pay/success/'


REST_FRAMEWORK = {
    # 渲染模块
    'DEFAULT_RENDERER_CLASSES': [
        'rest_framework.renderers.JSONRenderer',
        # 'rest_framework.renderers.BrowsableAPIRenderer',
    ],
    # ...
}

wsgi.py 、manage_pro.py该文件就是manage.py的一个副本)

# 需要做上线修改的内容
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'luffyapi.settings.pro')

<2>. 导出项目环境

# 1）进入本地项目根目录
cd 项目根目录

# 2）本地导出项目环境
pip3 freeze > requirements.txt

# 3）如果环境中有特殊的安装包，需要处理一下xadmin
packages.txt中的
	xadmin==2.0.1
要被替换为
	https://codeload.github.com/sshwsfc/xadmin/zip/django2
        
        
# 项目环境有
celery==4.4.6
Django==2.0.7
django-cors-headers==3.4.0
django-filter
django-redis
qcloudsms_py
djangorestframework==3.11.0
djangorestframework-jwt==1.11.0
Pillow==7.2.0
PyMySQL==0.9.3
python-alipay-sdk==2.0.1
redis==3.5.3
xadmin @ https://codeload.github.com/sshwsfc/xadmin/zip/django2

<3>. 项目提交到远程git仓库

# 1）去向本地项目仓库
cd 项目根目录

# 2）本地版本库操作
git status
git add .
git commit -m '项目2.0上线'

# 3）提交到远程版本库
git pull origin master
git push origin master

<4>. git同步上线项目

# 1）创建存放后台项目的目录
mkdir /home/project

# 2）进入后台项目管理目录同步git仓库中的项目
cd /home/project
git clone https://gitee.com/im_not_wang_mao/luffy_prod.git

# 3) 删除路飞中没有必须要的celery文件
cd /home/project/luffy_prod/
rm -rf celerybeat*
mkdir logs  # .gitigonre之前将文件夹排除了.

<5>. 项目虚拟环境

# 1）创建线上luffy项目虚拟环境
mkvirtualenv luffy
workon luffy

# 2）安装所需环境，在packages.txt所在目录下安装执行requirements.txt文件
pip install uwsgi  # 虚拟和真实环境都需要安装
pip install -r /home/project/luffyapi/requirements.txt

<6>. 完成uwsgi与nginx后条项目配置

# 1）进行uwsgi服务配置，内容如下
vim /home/project/luffyapi/luffyapi.xml

<uwsgi>    
   <socket>127.0.0.1:8808</socket> <!-- 内部端口，自定义 --> 
   <chdir>/home/project/luffyapi/</chdir> <!-- 项目路径 -->            
   <module>luffyapi.wsgi</module>  <!-- luffyapi为wsgi.py所在目录名--> 
   <processes>4</processes> <!-- 进程数 -->     
   <daemonize>uwsgi.log</daemonize> <!-- 日志文件 -->
</uwsgi>


# 4）去向Nginx配置目录，备份配置，完全更新配置：填入下方内容
vim /usr/local/nginx/conf/nginx.conf

events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    server {
        listen 80;
        server_name  127.0.0.1; # 改为自己的域名，没域名修改为127.0.0.1:80
        charset utf-8;
        location / {
            root /home/html; # html访问路径
            index index.html; # html文件名称
            try_files $uri $uri/ /index.html; # 解决单页面应用刷新404问题
        }
    }
    # 新增的server
    server {
        listen 8000;
        server_name  127.0.0.1; # 改为自己的域名，没域名修改为127.0.0.1:80
        charset utf-8;
        location / {
           include uwsgi_params;
           uwsgi_pass 127.0.0.1:8808;  # 端口要和uwsgi里配置的一样
           uwsgi_param UWSGI_SCRIPT luffyapi.wsgi;  #wsgi.py所在的目录名+.wsgi
           uwsgi_param UWSGI_CHDIR /home/project/luffyapi/; # 项目路径
        }
    }
} 

<7>. 数据库设置

# 1）管理员连接数据库
 mysql -uroot -pOwen1234?

# 2）创建数据库
create database luffyapi default charset=utf8;

# 3）设置权限账号密码：账号密码要与项目中配置的一致
grant all privileges on luffyapi.* to 'luffyapi'@'%' identified by 'Luffy123?';
grant all privileges on luffyapi.* to 'luffyapi'@'localhost' identified by 'Luffy123?';
flush privileges;

# 4）退出mysql
quit;

<8>. 完成项目的数据库迁移：Django采用2.0.7

# 必须在luffy环境下
# 1）数据库迁移
cd /home/project/luffyapi/
 python manage_prod.py migrate

# 2）创建超级用户
python manage_prod.py createsuperuser
# 账号密码：admin|Admin123

提示: 所有的应用中都需要把migrations中迁移记录清除

(luffy) [root@yang apps]# ls
course  home  __init__.py  order  user
(luffy) [root@yang apps]# ls course/migrations/
__init__.py  __pycache__
(luffy) [root@yang apps]# ls home/migrations/
__init__.py  __pycache__
(luffy) [root@yang apps]# ls order/migrations/
__init__.py  __pycache__
(luffy) [root@yang apps]# ls user/migrations/
0001_initial.py  __init__.py  __pycache__
(luffy) [root@yang apps]# rm -rf user/migrations/0001_initial.py
(luffy) [root@yang apps]# ls order/migrations/
__init__.py  __pycache__
(luffy) [root@yang apps]# cd ..
(luffy) [root@yang luffyapi]# cd ..
(luffy) [root@yang luffy_prod]# python manage_pro.py makemigrations

<9>. 如何解决Django不是2.0.7的其他版本，数据库迁移保存原数据：修改源码

# 1）修改base.py源码
vim /root/.virtualenvs/luffy/lib/python3.6/site-packages/django/db/backends/mysql/base.py

方案：36，37行注释掉

# 2）修改operations.py源码
vim /root/.virtualenvs/luffy/lib/python3.6/site-packages/django/db/backends/mysql/operations.py

方案：146行添加
	query = query.encode()

<10>. 启动uwsgi，重启nginx测试

# 1）启动uwsgi
uwsgi -x /home/project/luffyapi/luffyapi.xml

# 2）重启nginx
nginx -s reload

错误: centos下，在没有安装libxml2时，pip安装的uwsgi无法支持xml格式的配置文件

# 安装：pip install uwsgi

# 启动：uwsgi -x 'uwsgi.xml'
# 报错：uwsgi: invalid option -- 'x'

# 解决： 下载--解压--编译--安装
# 1. 获取uwsgi; 目前最新版本uwsgi-2.0.19.1
wget http://projects.unbit.it/downloads/uwsgi-latest.tar.gz

# 2. 编译安装；我是用python3.6.3 编译的
tar zxvf uwsgi-latest.tar.gz
cd uwsgi-2.0.19.1/
python uwsgiconfig.py --build
python setup.py install

<11>. 总结

# 1. pro.py配置
    关闭测试环境, 配置公网IP, 允许所有跨域, 后台HTTP跟路径, 前台HTTP跟路径, 订单支付成功后台异步回调接口, 模块渲染关闭BrowsableAPIRenderer
    
# 2. wsgi.py 、manage_pro.py文件的环境变量路径配置

# 3. 导入项目依赖环境
    pip3 freeze > requirements.txt
    注意: xadmin需要特殊对待. 
    
# 4. 本地项目提交到远程git仓库

# 5. git同步项目上线
    # 创建存放后台项目目录
    mkdir /home/project
    # 进入后台项目管理目录同步git仓库中的项目
    cd /home/proect
    git clone https://....
    # 删除项目celery_task中没有必要的celerybeat文件
    rm -rf celerybeat*
    # logs文件需要创建
    mkdir logs

# 6. 搭建项目所需虚拟环境
    # 创建项虚拟环境, 并进入创建的虚拟环境
    mkvirtualenv luffy
    workon luffy
    # 安装所环境
    uwsgi + pip install -r  requirements.txt
   

# 7. 部署uwsgi + nginx
    # 配置uwsgi服务
    vim /home/project/luffyapi/luffyapi.xml
    # 配置nginx实现转发到uwsgi
    vim /usr/local/nginx/conf/nginx.conf
        
# 8. 数据库部署
   创建luffyapi库, 配置本地连接和远程链接luffyapi权限, 刷新权限
    
# 9. 删除apps中应用中所有的migrations中除了__init__.py不然无法迁移

# 10. 启动uwsgi, 启动nginx
    uwsgi -x /home/project/luffyapi/luffyapi.xml
    nginx -s reload 

十二、后台样式：admin、rest_framework、xadmin等框架的静态样式也需要处理

1. 修改线上样式

# 1）编辑线上配置文件
vim /home/project/luffy_prod/luffyapi/settings/pro.py


# 2）修改static配置，新增STATIC_ROOT、STATICFILES_DIRS
STATIC_URL = '/static/'
STATIC_ROOT = '/home/project/luffy_prod/luffyapi/static'  
STATICFILES_DIRS = (os.path.join(BASE_DIR, "static"),)

# 3）退出编辑
esc
:wq

2. 迁移静态样式：项目目录下

# 1）项目目录下没有 static 文件夹需要新建
mkdir /home/project/luffy_prod/luffyapi/static

# 2）完成静态文件迁移
python /home/project/luffy_prod/manage_pro.py collectstatic

3. Nginx配置静态路径

# 1）修改nginx配置
vim /usr/local/nginx/conf/nginx.conf

events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    server {
        listen 80;
        server_name  www.lingyangisme.tech; # 改为自己的域名，没域名修改为127.0.0.1:80
        charset utf-8;
        location / {
            root /home/html; # html访问路径
            index index.html; # html文件名称
            try_files $uri $uri/ /index.html; # 解决单页面应用刷新404问题
        }
    }
    server {
        listen 8000;
        server_name  www.lingyangisme.tech; # 改为自己的域名，没域名修改为127.0.0.1:80
        charset utf-8;
        location / {
           include uwsgi_params;
           uwsgi_pass 127.0.0.1:8808;  # 端口要和uwsgi里配置的一样
           uwsgi_param UWSGI_SCRIPT luffyapi.wsgi;  #wsgi.py所在的目录名+.wsgi
           uwsgi_param UWSGI_CHDIR /home/project/luffy_prod/; # 项目路径
        }
        # 新增的配置静态文件
        location /static {
            alias /home/project/luffy_prod/luffyapi/static;
        }
    }
}

# 2）退出
esc
:wq

4. 启动项目

pkill -f uwsgi -9
uwsgi -x /home/project/luffy_prod/luffyapi.xml

# 2）关闭 nginx，重新启动 nginx
nginx -s stop
nginx

5.总结

# 1. 修改pro.py配置. 
    vim /home/project/luffy_prod/luffyapi/settings/pro.py
    STATIC_URL = '/static/'
    STATIC_ROOT = '/home/project/luffy_prod/luffyapi/static'  
    STATICFILES_DIRS = (os.path.join(BASE_DIR, "static"),)
    
# 2. 迁移静态样式
    mkdir /home/project/luffy_prod/luffyapi/static
    python /home/project/luffy_prod/manage_pro.py collectstatic
    
# 3. nginx配置静态路径
    vim /usr/local/nginx/conf/nginx.conf
    
# 4. 启动服务
    pkill -f uwsgi -9
    uwsgi -x /home/project/luffy_prod/luffyapi.xml
    nginx -s stop
    nginx

十三、上线项目测试

1）本地浏览器访问xadmin后台
http://39.99.192.127:8000/xadmin

2）登录，录入测试数据
# 账号密码：admin|Admin123

3）或是导出本地数据库为sql，再在线上导入sql
>: mysql -h 39.99.192.127 -P 3306 -u luffy -p
>: Luffy123?
>: use luffy
>: 复制之前的数据备份

十四、重点、重点、重点

1、真实环境和虚拟环境都要安装uwsgi，将真实环境下的uwsgi建立软连接
2、redis服务一定要后台启动：redis-server &
3、uwsgi启动django项目一定要进入虚拟环境下，因为环境都是安装在虚拟环境中
4、服务器的日志都会被记录在于uwsgi配置文件 luffyapi.xml 同类目下的 uwsgi.log 中