docker部署netcore项目 nginx负载均衡

前言：

本文主要内容是docker部署netcore应用以及docker运行nginx实现负载均衡。到目前为止感觉微软在跨平台的方面虽然有较大的进步，但是和linux比还是有一定的差距，在学习docker，nginx以及Netcore 过程中网上能查找参考的资料还是比较有限的，所以在此记录下遇到的问题以及踩到的各种坑，希望避免再次走弯路。

一.新建NET Core应用程序；

1.添加Docker支持，由于到目前为止，nginx还不支持windows容器，为了便于本机测试所以选用Linux容器，如下图：

2.输出请求处理,显示当前请求IP以及端口号：

 3.编辑Dockerfile文件

　　dockerfile文件指令说明：

　　FROM -指定基础镜像（FROM是必备的指令，并且必须为第一条指令）

　　WORKDIR-配置工作目录

　　EXPOSE-声明镜像内服务监听的端口

　　COPY-复制内容到镜像

　　ENTRYPOINT-启动镜像的默认人口命令

　　ENV -设置环境变量

编辑后的dockerfile文件如下：

FROM microsoft/dotnet:2.2-aspnetcore-runtime AS base
WORKDIR /app
EXPOSE 8005
EXPOSE 443
ENV ASPNETCORE_URLS http://+:8005
COPY . .
ENTRYPOINT ["dotnet", "DockerDemo.dll"]

 右键属性，选择“如果较新则复制”

4.Docker发布，

Release生成解决方案，定位到reliease文件夹，执行"docker build”指令，如下图：

 在执行过程中，有可能会碰到“no such host”问题，重试几次或者设置镜像代理即可

ps: 镜像版本后面有个空格+“ .”需留意 注意最后有个点，代表使用当前路径的 Dockerfile 进行构建

运行 docker images查看当前镜像：

可以看到已经成功构建。 

5.构建dockerdemo容器：

执行"docker run“指令，构建该镜像的实例docker run -d -t -p 8006:8005  --name dockerdemo8006 dockerdemo:1.0,可以看到，容器已经构建成功：

浏览器输入即可看到下列结果

 同理构建该镜像的其他容器，分别为8007,8008;至此docker构建netcore镜像已经完成，我们可以在Kitematic查看已经构建的容器；

二.Docker构建nginx容器实现负载均衡

1.执行“docker pull nginx“指令获取镜像，docker images 查看当前镜像；

2.构建nginx镜像容器

执行docker run -d -p 8003:80 --name dockernginxdemo nginx，其中-d表示后台运行,-p表示开放的端口，将80端口代理到宿主8003端口，这样访问ip:8003就可以访问nginx 80端口,--name表示容器名字，最后为镜像名:标签。

docker ps查看当前容器：

 

可以看出已经实例化镜像文件。在浏览器中输入localhost:8003出现如下界面则表示成功：

 

3.修改nginx配置文件：

该页面是镜像文件中自带的一个html文件，我们需要将我们自己nginx的配置文件复制替换容器自带的配置文件，进入容器中

docker exec -it dockernginxdemo /bin/bash 
cat /etc/nginx/nginx.conf

可以看到Nginx镜像自带的nginx配置文件信息

user  nginx;
worker_processes  1;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;

    include /etc/nginx/conf.d/*.conf;
}

可以看到这和nginx教程中的配置文件有一定的区别的，我自己在这儿踩了几个坑,nginx中的配置文件是作为一个整体的，而镜像中是默认包括两个文件：default.conf和nginx.conf文件，下图是nginx教程中的配置文件

#定义Nginx运行的用户和用户组
#user  nobody; 

#nginx进程数，建议设置为等于CPU总核心数。
worker_processes  1; 

#全局错误日志定义类型，[ debug | info | notice | warn | error | crit ]
#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#进程文件
#pid        logs/nginx.pid;

#工作模式与连接数上限
events {
    #单个进程最大连接数（最大连接数=连接数*进程数）
    worker_connections  1024;
}

#设定http服务器
http {
    #文件扩展名与文件类型映射表
    include       mime.types;
    #默认文件类型
    default_type  application/octet-stream;

    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';

    #access_log  logs/access.log  main;

    #开启高效文件传输模式，sendfile指令指定nginx是否调用sendfile函数来输出文件，对于普通应用设为 on，如果用来进行下载等应用磁盘IO重负载应用，可设置为off，以平衡磁盘与网络I/O处理速度，降低系统的负载。注意：如果图片显示不正常把这个改 成off。
    sendfile        on;

    #防止网络阻塞
    #tcp_nopush     on;


    #长连接超时时间，单位是秒
    #keepalive_timeout  0;
    keepalive_timeout  65;

    #开启gzip压缩输出
    #gzip  on;

    #虚拟主机的配置
    server {

        #监听端口
        listen       80;

        #域名可以有多个，用空格隔开
        server_name  localhost;

        #默认编码
        #charset utf-8;

        #定义本虚拟主机的访问日志
        #access_log  logs/host.access.log  main;

        location / {
            root   html;
            index  index.html index.htm;
        }

        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

        # proxy the PHP scripts to Apache listening on 127.0.0.1:80
        #
        #location ~ .php$ {
        #    proxy_pass   http://127.0.0.1;
        #}

        # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
        #
        #location ~ .php$ {
        #    root           html;
        #    fastcgi_pass   127.0.0.1:9000;
        #    fastcgi_index  index.php;
        #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
        #    include        fastcgi_params;
        #}

        # deny access to .htaccess files, if Apache's document root
        # concurs with nginx's one
        #
        #location ~ /.ht {
        #    deny  all;
        #}
    }


    # another virtual host using mix of IP-, name-, and port-based configuration
    #
    #server {
    #    listen       8000;
    #    listen       somename:8080;
    #    server_name  somename  alias  another.alias;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}


    # HTTPS server
    #
    #server {
    #    listen       443 ssl;
    #    server_name  localhost;

    #    ssl_certificate      cert.pem;
    #    ssl_certificate_key  cert.key;

    #    ssl_session_cache    shared:SSL:1m;
    #    ssl_session_timeout  5m;

    #    ssl_ciphers  HIGH:!aNULL:!MD5;
    #    ssl_prefer_server_ciphers  on;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}

}

 如果直接将conf文件替换镜像中的nginx文件的话，会出现“directive is not allowed here in /etc/nginx/conf.d/nginx.conf”这样的问题，原因是在default.conf配置文件中，已经存在"server”节点，我们可以执行如下指令

docker cp f3d9ee01637a:/etc/nginx/conf.d/default.conf  E:/ngingconf/default.conf

将conf.d/default.conf文件复制到 E:/ngingconf/default.conf文件中，default.conf文件如下：

server {
    listen       80;
    server_name  localhost;

    #charset koi8-r;
    #access_log  /var/log/nginx/host.access.log  main;

    location / {
        root   /usr/share/nginx/html;
        index  index.html index.htm;
    }

    #error_page  404              /404.html;

    # redirect server error pages to the static page /50x.html
    #
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
        root   /usr/share/nginx/html;
    }

    # proxy the PHP scripts to Apache listening on 127.0.0.1:80
    #
    #location ~ .php$ {
    #    proxy_pass   http://127.0.0.1;
    #}

    # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
    #
    #location ~ .php$ {
    #    root           html;
    #    fastcgi_pass   127.0.0.1:9000;
    #    fastcgi_index  index.php;
    #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
    #    include        fastcgi_params;
    #}

    # deny access to .htaccess files, if Apache's document root
    # concurs with nginx's one
    #
    #location ~ /.ht {
    #    deny  all;
    #}
}

可以看到，在default文件中已经存在server节点，所以不能直接复制自定义的nginx.conf文件到容器的nginx.conf文件中。有两种解决方案，第一分别修改nginx.conf和default.conf文件；第二，将容器中的default.conf文件内容删除，然后再复制自定义的conf文件覆盖掉镜像中nginx.conf的配置文件。这里，我们采用第一种方法，修改镜像中Nginx.conf以及default.conf的局部节点；

首先，执行

docker cp f3d9ee01637a:/etc/nginx/nginx.conf  E:/ngingconf/nginx.conf

指令，将镜像文件中的nginx.conf文件复制到本地，打开E:/ngingconf/nginx.conf，编辑配置文件如下：

user  nginx;
worker_processes  1;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {

    #集群站点配置
    upstream nginxtest.com{
        #server    127.0.0.1:8887 weight=1;#服务器配置   WEIGHT是权重的意思，权重越大，分配的概率越大。    
        server    127.0.0.1:8006 weight=1;
        server    127.0.0.1:8007 weight=1;
        server    127.0.0.1:8008 weight=1;
    }



    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;

    include /etc/nginx/conf.d/*.conf;
}

nginx.conf文件中，我们添加了

  节点指令，配置服务集群，对应之前的三个netcore应用的端口8006,8007,8008。然后执行

docker cp E:/ngingconf/nginx.conf f3d9ee01637a:/etc/nginx/nginx.conf

执行，将本地修改后的nginx.conf文件拷贝到镜像文件中；同理，执行

docker cp f3d9ee01637a:/etc/nginx/conf.d/default.conf  E:/ngingconf/default.conf

将镜像文件中的default.conf文件复制到本地，打开E:/ngingconf/default.conf，编辑配置文件如下：

server {
    listen       80;
    server_name  localhost;

    #charset koi8-r;
    #access_log  /var/log/nginx/host.access.log  main;

     #缓存文件路由
    location ~ .*(.(js|css|jpg|svg)).* {

        proxy_pass http://nginxtest.com;
        proxy_cache_valid 200;
        expires 3d;
    }
    #集群站点路由
    location / {

        proxy_pass http://nginxtest.com;  #http://nginxtest.com对应upstream后面的名称加上http
        proxy_http_version 1.1;
    proxy_redirect default;

        proxy_set_header Upgrade $http_upgrade; 
        proxy_set_header Connection keep-alive;
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;

        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}

 注意 集群站点中“proxy_pass”后面参数名称需要和nginf.conf文件中集群名称一致。随后执行cp指令覆盖镜像文件即可；

4.测试

 至此docker 部署nginx反向代理已经完成，预期效果是在网站中输入localhost:8003就会访问不同的端口号实现负载均衡实际效果运行却是。。。

不甘心，有试了几遍，还是这个结果 后来查看了下Kitematic，日志果然有其他问题：

 大概就是无法连接到集群里的服务器，推测了下应该是容器间的通信问题，于是验证了下，用IIS而不是容器发布了应用然后用docker部署nginx负载均衡，其他步骤一样，果然可以直接访问而不会出现该问题，于是开始着手解决这个问题

三 .关于upstream server temporarily disabled while connecting to upstream nginx问题

 默认情况下，容器都是使用Docker桥接网络来与其他容器或者主机网络通信，所有的本地Bridged容器都是在同一个桥接网络上，并且默认可以相互通信的的，如下图：

既然如此，容器之间应该可以通讯的，那为何会出现上述问题，

我们先执行 “docker network ls”指令查看docker中存在的网络:

“ bridge”为docker创建的默认网络，默认的都在改网络下。然后通过命令

docker network inspect bridge

查看bridge网络的详细配置：

 可以看出，我们创建的四个docker容器文件都在该网络下，但是IP地址却不是我们之前分配的host:8006,host:8007,host:8008,如上图绿色标记，我们将nginx.conf文件中的集群节点做如下修改：

 #server    127.0.0.1:8887 weight=1;#服务器配置   WEIGHT是权重的意思，权重越大，分配的概率越大。    
        #server    127.0.0.1:8006 weight=1;
        #server    127.0.0.1:8007 weight=1;
    　　 server 172.18.0.2:8005 weight=1;
        server 172.18.0.3:8005 weight=1;
        server 172.18.0.4:8005 weight=1;
        #server    127.0.0.1:8008 weight=1;

需要注意两点：

1.集群下server节点需要加端口号，否则默认80端口；

2.本机测试下需要确保集群节点的server子节点 和nginx在同一网络下；

 测试，浏览器输入Localhost:8003,运行结果如下图:

可以看出，刷新页面会访问不同的端口，而且我们我也可以看出，服务端读取到的ip地址其实就是docker网络中容器的IP地址；