2020系统综合实践 第四次实践作业

一.使用Docker-compose实现Tomcat+Nginx负载均衡

1.反向代理：代理服务器

反向代理，客户端对代理是无感知的，因为客户端不需要任何配置就可以访问，只需要将请求发送到反向代理服务器，由反向代理服务器去选择目标服务器获取数据后，在返回给客户端，此时反向代理服务器和目标服务器对外就是一个服务器，暴露的是代理服务器地址，隐藏了真实服务器IP地址。

2.nginx代理tomcat集群，代理2个以上tomcat

• 负载均衡用于从“upstream”模块定义的后端服务器列表中选取一台服务器接受用户的请求。一个最基本的upstream模块是这样的，模块内的server是服务器列表：

upstream tomcats{
        server mytomcat1:8080;	#容器名（与yml对应）：端口号
        server mytomcat2:8080;	#默认使用的是轮询访问
        server mytomcat3:8080;

}

• 在upstream模块配置完成后，要让指定的访问反向代理到服务器列表：

    location / {
	root   /usr/share/nginx/html;
        index  index.html index.htm;
	proxy_pass http://tomcats;#访问nginx之后,会轮询访问代理的tomcat服务器
    }

• default.conf配置文件

• docker-compose.yml文件

version: "3"
services:
    nginx:
        image: nginx
        container_name: mynginx
        ports:
            - 80:2020
        volumes:
            - ./default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
        depends_on:
            - tomcat1
            - tomcat2
            - tomcat3

    tomcat1:
        image: tomcat
        container_name: mytomcat1
        volumes:
           - ./tomcat1:/usr/local/tomcat/webapps/ROOT

    tomcat2:
        image: tomcat
        container_name: mytomcat2
        volumes:
           - ./tomcat2:/usr/local/tomcat/webapps/ROOT

    tomcat3:
        image: tomcat
        container_name: mytomcat3
        volumes:
           - ./tomcat3:/usr/local/tomcat/webapps/ROOT

• 树形结构如图所示；并在不同的index.html中写了不同的内容以便测试时区分

• 运行docker-compose后查看容器

3.负载均衡策略1：轮询策略

编写python代码测试轮询策略
import requests

url='http://localhost'
for i in range(0,10):
    response=requests.get(url)
    print(response.text)

• 轮询策略为默认配置，最基本的配置方法，上面的例子就是轮询的方式，它是upstream模块默认的负载均衡默认策略。每个请求会按时间顺序逐一分配到不同的后端服务器。

3.负载均衡策略2：权重策略

• 修改配置文件

• weight参数用于指定轮询几率，weight的默认值为1,；weight的数值与访问比率成正比

编写python代码测试权重策略
import requests

url='http://localhost'
count={}
for i in range(0,1000):
    response=requests.get(url)
    if response.text in count:
        count[response.text]+=1;
    else:
        count[response.text]=1
print(count)

• 可以看到第三个tomcat权重最大，接受访问次数也最多

3.负载均衡策略3：依据ip分配方式

• 修改配置文件

• 指定负载均衡器按照基于客户端IP的分配方式，这个方法确保了相同的客户端的请求一直发送到相同的服务器

二.使用Docker-compose部署javaweb运行环境

1.先放一个树形结构（不是很明白颜色怎么都绿了）

博客里面没出现的文件均是来自参考项目

2.default.conf

upstream tomcats {            #轮询策略
    server mytomcat1:8080;
    server mytomcat2:8080;
}

server {
    listen       2020;      #nginx的监听端口
    server_name  localhost;

    location / {
        root   /usr/share/nginx/html;
        index  index.html index.htm;
	proxy_pass http://tomcats;      #访问nginx之后,会轮询访问代理的tomcat服务器
    }
}

3.docker-compose

利用nginx代理两个tomcat；nginx的端口映射为80：2020；主机只需要访问localhost：80，便能根据nginx的复杂均衡策略访问到不同的tomcat容器

#所有容器都处于同一子网下；静态ip可自由分配
version: "3"   
services:     
  tomcat1:                             
    image: tomcat   
    container_name: mytomcat1
    volumes:  
     - ./webapps:/usr/local/tomcat/webapps
    networks:   #网络设置静态IP，保证在同一子网下可随意分配              
      webnet:
        ipv4_address: 15.22.0.15
  tomcat2:
     image: tomcat
     container_name: mytomcat2
     volumes:  
        - ./webapps:/usr/local/tomcat/webapps
     networks:   #网络设置静态IP，
        webnet:
          ipv4_address: 15.22.0.16
  mysql:  
    build: .   
    image: mysql
    container_name: mysql
    ports:
      - "3309:3306" 
    command: [                                    #设置编码模式
            '--character-set-server=utf8mb4',
            '--collation-server=utf8mb4_unicode_ci'
    ]
    environment:
      MYSQL_ROOT_PASSWORD: "123456"            #root密码
    networks:
      webnet:
        ipv4_address: 15.22.0.6
  nginx:
      image: nginx
      container_name: mynginx
      ports:
          - 80:2020
      volumes:
          - ./default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
      depends_on:
            - tomcat1
            - tomcat2
      tty: true
      stdin_open: true
      networks:
       webnet:
        ipv4_address: 15.22.0.7
networks:   #网络设置
 webnet:
   driver: bridge  #网桥模式
   ipam:
     config:
      - 
       subnet: 15.22.0.0/24   #子网

4.JAVAWEB

这里就没什么好说的了，使用的是老师给出参考项目里面的

其实还是要说一些的，参考项目中是直接通过访问tomcat暴露的端口，来获取服务，我们的实验要求用nginx反向代理；代理多个tomcat，所以要做一些修改；通过访问nginx的暴露端口，由nginx的负载均衡策略去选择哪一个tomcat提供的web服务

ifconfig查看虚拟机ip,然后按参考项目修改即可（菜还是我菜，javaweb都学不会）

5.nginx代理之后，主机访问localhost/ssmgrogshop_war/即可

通过账户sa 密码123登陆

可以对数据库进行各种操作，nginx的代理还是很成功的

6.如果出现“Pool overlaps with other one on this address space”的报错

#使用如下指令找到并删除就好
sudo docker network ls
sudo docker network rm 网关id

三.使用Docker搭建大数据集群环境

1.pull ubuntu镜像

并在个人文件下创建一个目录，用于向Docker内部的Ubuntu系统传输文件；创建并运行容器

docker pull ubuntu
cd ~
mkdir build
sudo docker run -it -v /home/monster/build:/root/build --name ubuntu ubuntu

2.Ubuntu容器的初始化

• 进入容器中先换源，这里选用阿里源

cat<<EOF>/etc/apt/sources.list      #覆盖掉原先内容，注意左边只有一个>，<<EOF>是覆盖；<<EOF>>则变成追加;截图等我下次改
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
EOF

apt-get update
apt-get install vim       # 安装vim软件
apt-get install ssh       # 安装sshd，因为在开启分布式Hadoop时，需要用到ssh连接slave:
/etc/init.d/ssh start     # 运行脚本即可开启sshd服务器
vim ~/.bashrc             
/etc/init.d/ssh start  # 在该文件中最后一行添加如下内容，实现进入Ubuntu系统时，都能自动启动sshd服务

3.配置ssh

ssh-keygen -t rsa # 一直按回车即可
cd ~/.ssh
cat id_rsa.pub >> authorized_keys 

4.安装JDK,这里使用JDK8版本

apt-get install openjdk-8-jdk
vim ~/.bashrc       # 在文件末尾添加以下两行，配置Java环境变量：
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bashrc # 使.bashrc生效

5.docker commit从容器去创建一个镜像

#另开一个终端
sudo docker commit 容器id ubuntu:jdk8      #讲其保存说明是jkd8版本的ubuntu
sudo docker run -it -v /home/monster/build:/root/build --name ubuntu-jdk8 ubuntu:jdk8
#开启保存的那份镜像ubuntu:jdk8

6.安装Hadoop

cd /root/build
tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local #将hadoop压缩包放入本地build文件夹中，这里使用大数据实验中的3.1.3版本
cd /usr/local/hadoop-3.1.3
./bin/hadoop version # 验证安装

7.配置Hadoop集群（不同版本文件配置略有差异）

hadoop-env.sh

cd /usr/local/hadoop-3.1.3/etc/hadoop #进入配置文件存放目录
vim hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ # 在任意位置添加

core-site.xml

vim core-site.xml
<configuration>
    <property>  
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop-3.1.3/tmp</value>
	<description>A base for other temporary directories.</description>
    </property>
</configuration>

hdfs-site.xml

vim hdfs-site.xml
<configuration>
        <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop-3.1.3/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.namenode.data.dir</name>
        <value>file:/usr/local/hadoop-3.1.3/tmp/dfs/data</value>
    </property>
</configuration>

mapred-site.xml

vim mapred-site.xml
<configuration>
	<property>
		<!--使用yarn运行MapReduce程序-->
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<!--jobhistory地址host:port-->
		<name>mapreduce.jobhistory.address</name>
		<value>master:10020</value>
	</property>
	<property>
		<!--jobhistory的web地址host:port-->
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>master:19888</value>
	</property>
	<property>
		<!--指定MR应用程序的类路径-->
		<name>mapreduce.application.classpath</name>
		<value>/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/lib/*,/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/*</value>
	</property>
</configuration>

yarn-site.xml

vim yarn-site.xml
<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>master</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-pmem-ratio</name>
		<value>2.5</value>
	</property>
</configuration>

修改脚本，参考CSDN

• 对于start-dfs.sh和stop-dfs.sh文件，添加下列参数：

cd /usr/local/hadoop-3.1.3/sbin
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

• 对于start-yarn.sh和stop-yarn.sh，添加下列参数：

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

8.运行Hadoop集群

保存镜像

sudo docker commit 容器id ubuntu/hadoopinstalled

从三个终端分别开启三个容器运行ubuntu/hadoopinstalled镜像，分别表示Hadoop集群中的master,slave01和slave02；

# 第一个终端
sudo docker run -it -h master --name master ubuntu/hadoopinstalled
# 第二个终端
sudo docker run -it -h slave01 --name slave01 ubuntu/hadoopinstalled
# 第三个终端
sudo docker run -it -h slave02 --name slave02 ubuntu/hadoopinstalled

三个终端分别打开/etc/hosts,根据各自ip修改为如下形式

cat /etc/hosts
172.17.0.3	master
172.17.0.4      slave01
172.17.0.5      slave02

在master结点测试ssh；连接到slave结点

ssh slave01
ssh slave02
exit 退出

修改master上workers文件；将localhost修改为如下所示

vim /usr/local/hadoop-3.1.3/etc/hadoop/workers
slave01
slave02

9.测试Hadoop集群

cd /usr/local/hadoop-3.1.3
bin/hdfs namenode -format      #首次启动Hadoop需要格式化
sbin/start-all.sh              #启动所有服务

• 使用jps查看三个终端，如图所示

• 建立HDFS文件夹

bin/hdfs dfs -mkdir /user 
bin/hdfs dfs -mkdir /user/root      #注意input文件夹是在root目录下
bin/hdfs dfs -mkdir input

• 在master终端上vim一个测试样例,并将其上传到input文件夹;注意test文件的路径

bin/hdfs dfs -put ~/test.txt input

• 运行一个功能为计算字符串个数的jar包

bin/hadoop jar /usr/local/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount input output

• cat查看output文件夹结果显示

./bin/hdfs dfs -cat output/*

• 停止所有服务

sbin/stop-all.sh

四.问题反馈

• 问题①

配置nginx得负载均衡策略中。访问localhost出现http状态400--错误请求的问题；原因在于配置文件中，upstream模块对集群得命令出现了下划线，是一种错误写法

• 问题②

在执行sbin/start-all.sh报错；需要添加脚本运行文件（因为大数据实验在虚拟机上布置hadoop并不需要修改脚本而跳了个坑）

• 问题③

在进行Hadoop集群实验时，无法执行hdfs指令；原因在于创建测试文件时退出了hadoop-3.1.3文件目录；cd打开/usr/local/hadoop-3.1.3即可

五.实验总结

这大概是目前为止做系统实验周期最长的一次了，主要还是卡在javaweb上，到最后还是使用了老师给的参考项目；考研党实在没有时间和精力去学了，实践一+花费时间2-3个小时左右吧；实践三由于做过大数据实践，对配置比较熟悉，大概花费4-5小时；实践二前前后后折腾了好久啊，尝试学过springboot但是对软件不熟悉，各种问题，基本浪费了半天的时间了；最后选择参考项目的javaweb；大概花费了4个小时；但是经过这次实验，对Nginx的反向代理确实了解多了不少，也算是有所收获了

六.参考

负载均衡策略

搭建Hadoop分布式集群

CSDN

目标网段已存在