2020系统综合实践 第4次实践作业

（1）使用Docker-compose实现Tomcat+Nginx负载均衡

要求：
理解nginx反向代理原理；
nginx代理tomcat集群，代理2个以上tomcat；
了解nginx的负载均衡策略，并至少实现nginx的2种负载均衡策略；

1.反向代理：代理服务器

反向代理，客户端对代理是无感知的，因为客户端不需要任何配置就可以访问，只需要将请求发送到反向代理服务器，由反向代理服务器去选择目标服务器获取数据后，在返回给客户端，此时反向代理服务器和目标服务器对外就是一个服务器，暴露的是代理服务器地址，隐藏了真实服务器IP地址。

2.nginx代理tomcat集群，代理2个以上tomcat

负载均衡用于从“upstream”模块定义的后端服务器列表中选取一台服务器接受用户的请求。一个最基本的upstream模块是这样的，模块内的server是服务器列表：

upstream tomcats{
        server mytomcat1:8080;	#容器名（与yml对应）：端口号
        server mytomcat2:8080;	#默认使用的是轮询访问
        server mytomcat3:8080;
}

在upstream模块配置完成后，要让指定的访问反向代理到服务器列表：

    location / {
	proxy_pass http://tomcats;#访问nginx之后,会轮询访问代理的tomcat服务器
    }

default.conf配置文件

upstream tomcats {
    server tomcat01:8080;
    server tomcat02:8080; 
    server tomcat03:8080; 
}

server {
    listen 8001;
    server_name localhost;

    location / {
        proxy_pass http://tomcats; # 请求转向tomcats
    }
}

docker-compose.yml文件

version: "3"
services:
    nginx:
        image: nginx
        container_name: "nginx-tomcat"
        ports:
            - 80:8001
        volumes:
            - ./nginx/default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
        depends_on:
            - tomcat01
            - tomcat02
            - tomcat03

    tomcat01:
        image: tomcat
        container_name: "tomcat01"
        volumes:
            - ./tomcat1:/usr/local/tomcat/webapps/ROOT # 挂载web目录

    tomcat02:
        image: tomcat
        container_name: "tomcat02"
        volumes:
            - ./tomcat2:/usr/local/tomcat/webapps/ROOT

    tomcat03:
        image: tomcat
        container_name: "tomcat03"
        volumes:
            - ./tomcat3:/usr/local/tomcat/webapps/ROOT

三个index.html

this is tomcat1!
this is tomcat2!
this is tomcat3!

树形结构如图所示；并在不同的index.html中写了不同的内容以便测试时区分

运行docker-compose

查看容器

访问localhost

三个服务器都可以访问

3.了解nginx的负载均衡策略，并至少实现nginx的2种负载均衡策略

负载均衡策略1：轮询策略

import requests

url="http://127.0.0.1"

for i in range(0,10):
	reponse=requests.get(url)
	print(reponse.text)

可以看出三个服务器出现的频率是一样的

负载均衡策略2：权重策略

修改default.conf

upstream tomcats {
    server tomcat01:8080 weight=1;
    server tomcat02:8080 weight=2; 
    server tomcat03:8080 weight=3; 
}

server {
    listen 80;
    server_name localhost;

    location / {
        proxy_pass http://tomcats; # 请求转向tomcats
    }
}

然后重启docker服务,然后重新运行tomcat，否则权重设置不生效

也可以另外写一个python爬虫统计访问次数

import requests

url="http://127.0.0.1"
count={}
for i in range(0,2000):
    response=requests.get(url)
    if response.text in count:
        count[response.text]+=1;
    else:
        count[response.text]=1
for a in count:
    print(a, count[a])

可以看到，tomcat的访问次数比基本等于权重比

（2）使用Docker-compose部署javaweb运行环境

要求：
分别构建tomcat、数据库等镜像服务；
成功部署Javaweb程序，包含简单的数据库操作；
为上述环境添加nginx反向代理服务，实现负载均衡。

tree结构

docker-compose.yml

version: "3"   #版本
services:     #服务节点
  tomcat:     #tomcat 服务
    image: tomcat    #镜像
    hostname: hostname       #容器的主机名
    container_name: tomcat00   #容器名
    ports:      #端口
     - "5050:8080"
    volumes:  #数据卷
     - "./webapps:/usr/local/tomcat/webapps"
     - ./wait-for-it.sh:/wait-for-it.sh
    networks:   #网络设置静态IP
      webnet:
        ipv4_address: 15.22.0.15
  mymysql:  #mymysql服务
    build: .   #通过MySQL的Dockerfile文件构建MySQL
    image: mymysql:test
    container_name: mymysql
    ports:
      - "3309:3306" 
#红色的外部访问端口不修改的情况下，要把Linux的MySQL服务停掉
#service mysql stop
#反之，将3306换成其它的
    command: [
            '--character-set-server=utf8mb4',
            '--collation-server=utf8mb4_unicode_ci'
    ]
    environment:
      MYSQL_ROOT_PASSWORD: "123456"
    networks:
      webnet:
        ipv4_address: 15.22.0.6
  nginx:
      image: nginx
      container_name: "nginx-tomcat"
      ports:
          - 8080:8080
      volumes:
          - ./default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
      tty: true
      stdin_open: true
      networks:
       webnet:
        ipv4_address: 15.22.0.7
networks:   #网络设置
 webnet:
   driver: bridge  #网桥模式
   ipam:
     config:
      - 
       subnet: 15.22.0.0/24   #子网

docker-entrypoint.sh

#!/bin/bash
mysql -uroot -p123456 << EOF
source /usr/local/grogshop.sql;

Dockerfile

#  这个是构建MySQL的dockerfile
 
FROM registry.saas.hand-china.com/tools/mysql:5.7.17
 
# mysql的工作位置
ENV WORK_PATH /usr/local/

# 定义会被容器自动执行的目录
ENV AUTO_RUN_DIR /docker-entrypoint-initdb.d
 
#复制gropshop.sql到/usr/local 
COPY grogshop.sql  /usr/local/
#把要执行的shell文件放到/docker-entrypoint-initdb.d/目录下，容器会自动执行这个shell
COPY docker-entrypoint.sh  $AUTO_RUN_DIR/
 
#给执行文件增加可执行权限
RUN chmod a+x $AUTO_RUN_DIR/docker-entrypoint.sh
 
# 设置容器启动时执行的命令
#CMD ["sh", "/docker-entrypoint-initdb.d/import.sh"]

default.conf

upstream tomcat123 {
    server tomcat00:8080;
}

server {
    listen 8080;
    server_name localhost;

    location / {
        proxy_pass http://tomcat123;
    }
}

修改连接数据库的IP

查看本机ip(ifconfig指令)

修改ip

vim ~/compose4/webapps/ssmgrogshop_war/WEB-INF/classes/jdbc.properties

启动容器

sudo docker-compose up -d

浏览器访问前端页面

http://127.0.0.1:8080/ssmgrogshop_war

数据库

（3）使用Docker搭建大数据集群环境

直接用机器搭建Hadoop集群，会因为不同机器配置等的差异，遇到各种各样的问题；也可以尝试用多个虚拟机搭建，但是这样对计算机的性能要求比较高，通常无法负载足够的节点数；使用Docker搭建Hadoop集群，将Hadoop集群运行在Docker容器中，使Hadoop开发者能够快速便捷地在本机搭建多节点的Hadoop集群。
要求：
完成hadoop分布式集群环境配置，至少包含三个节点（一个master，两个slave）；
成功运行hadoop 自带的测试实例。

pull Ubuntu镜像

docker pull ubuntu
cd ~
mkdir build
sudo docker run -it -v /home/qinhonghao/build:/root/build --name ubuntu ubuntu

Ubuntu容器的初始化

cat<<EOF>/etc/apt/sources.list      #覆盖掉原先内容，注意左边只有一个>，<<EOF>是覆盖；<<EOF>>则变成追加;截图等我下次改
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
EOF

进行一些必要的更新以及安装sshd

apt-get update
apt-get install vim       
apt-get install ssh       
/etc/init.d/ssh start   

但是这样的话，就需要每次在开启镜像时，都需要手动开启sshd服务，因此我们把这启动命令写进~/.bashrc文件，这样我们每次登录Ubuntu系统时，都能自动启动sshd服务;
```vim ~/.bashrc```
在该文件中最后一行添加如下内容：
```/etc/init.d/ssh start``

配置ssh无密码连接本地sshd服务

ssh-keygen -t rsa # 一直按回车即可
cd ~/.ssh
cat id_rsa.pub >> authorized_keys

安装JDK,这里使用JDK8版本(java -version查看)

因为Hadoop有用到Java，因此还需要安装JDK；直接输入以下命令来安装JDK:
apt-get install openjdk-8-jdk
这个命令会安装比较多的库，可能耗时比较长；等这个命令运行结束之后，即安装成功；
然后我们需要配置环境变量，vim ~/.bashrc打开~/.bashrc文件，在最后输入如下内容；

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export PATH=$PATH:$JAVA_HOME/bin

接着执行如下命令使~/.bashrc生效即可;
source ~/.bashrc

保存修改后的容器为一个新的镜像

查看当前ubuntu的镜像id，然后保存当前镜像为ubuntu/jdk8，表示jdk安装成功的ubuntu版本，命令如下:
sudo docker commit 容器id ubuntu/jdk8

可以看到显示修改成功！

安装hadoop

先下载Hadoop
下载地址：https://downloads.apache.org/hadoop/core/hadoop-3.1.3/
下载比较慢，需要耐心等待；下载完成后，将文件复制入共享文件夹/home/qinhonghao/build,

然后在Docker内部Ubuntu系统的/root/build目录即可获取到Hadoop安装文件，接着以下输入命令

sudo docker run -it -v /home/qinhonghao/build:/root/build --name ubuntu-jdk8 ubuntu/jdk8
#开启保存的那份镜像ubuntu/jdk8

#在打开的容器里运行
cd /root/build
tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local 
cd /usr/local/hadoop-3.1.3
./bin/hadoop version # 验证安装

可以看到Hadoop安装成功

配置Hadoop集群

首先打开hadoop_env.sh文件，修改JAVA_HOME

cd /usr/local/hadoop-3.1.3/etc/hadoop #进入配置文件存放目录
vim hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ # 在任意位置添加

接着vim core-site.xml打开core-site.xml，输入以下内容:

<configuration>
      <property>
          <name>hadoop.tmp.dir</name>
          <value>file:/usr/local/hadoop-3.1.3/tmp</value>
          <description>Abase for other temporary directories.</description>
      </property>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://master:9000</value>
      </property>
</configuration>

然后再vim hdfs-site.xml打开hdfs-site.xml输入以下内容:

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop-3.1.3/namenode_dir</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop-3.1.3/datanode_dir</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

接下来vim mapred-site.xml修改mapred-site.xml，输入以下内容:

<configuration>
	<property>
		<!--使用yarn运行MapReduce程序-->
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<!--jobhistory地址host:port-->
		<name>mapreduce.jobhistory.address</name>
		<value>master:10020</value>
	</property>
	<property>
		<!--jobhistory的web地址host:port-->
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>master:19888</value>
	</property>
	<property>
		<!--指定MR应用程序的类路径-->
		<name>mapreduce.application.classpath</name>
		<value>/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/lib/*,/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/*</value>
	</property>
</configuration>

接着vim yarn-site.xml修改yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>master</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-pmem-ratio</name>
		<value>2.5</value>
	</property>
</configuration>

最后添加参数

进入脚本文件存放目录：

cd /usr/local/hadoop-3.1.3/sbin

对于start-dfs.sh和stop-dfs.sh文件，添加下列参数

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

对于start-yarn.sh和stop-yarn.sh，添加下列参数

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

保存镜像

#打开一个新的终端
sudo docker commit 容器id ubuntu/hadoopinstalled

从三个终端分别开启三个容器运行ubuntu/hadoopinstalled镜像，分别表示Hadoop集群中的master,slave01和slave02；

# 第一个终端
sudo docker run -it -h master --name master ubuntu/hadoopinstalled
# 第二个终端
sudo docker run -it -h slave01 --name slave01 ubuntu/hadoopinstalled
# 第三个终端
sudo docker run -it -h slave02 --name slave02 ubuntu/hadoopinstalled

三个终端分别vim /etc/hosts打开/etc/hosts,根据各自ip修改为如下形式

172.17.0.2      master
172.17.0.3      slave01
172.17.0.4      slave02

用如下命令来检测下是否master是否可以连上slave01和slave02

ssh slave01
ssh slave02
exit

修改master上workers文件，将localhost修改

vim /usr/local/hadoop-3.1.3/etc/hadoop/workers

#将localhost替换成两个slave的主机名
slave01
slave02

测试Hadoop集群

#在master上操作
cd /usr/local/hadoop-3.1.3
bin/hdfs namenode -format      #首次启动Hadoop需要格式化
sbin/start-all.sh              #启动所有服务
jps                            #分别查看三个终端

建立HDFS文件夹

bin/hdfs dfs -mkdir /user 
bin/hdfs dfs -mkdir /user/root      #注意input文件夹是在root目录下
bin/hdfs dfs -mkdir input

在master终端上vim一个测试样例,并将其上传到input文件夹;注意test文件的路径

bin/hdfs dfs -put ~/test.txt input

运行一个功能为计算字符串个数的jar包

bin/hadoop jar /usr/local/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount input output

cat查看output文件夹结果显示

/bin/hdfs dfs -cat output/*

停止所有服务

sbin/stop-all.sh

（4）实验报告

记录实验过程的主要问题和解决方法，分享经验和感想；

1、docker-compose运行tomcat缓慢，而且还会卡顿没反应

解决办法：更换端口为80，且通过命令sudo service docker restart重启容器，然后再运行。

2、设置权重后没有效果

解决办法：重启docker服务，然后再重新docker-compose运行tomcat。

3、登录ssmgrogshop_war无法连接服务器

解决办法：删除容器，重启docker服务，然后再启动容器

4、在docker上运行ubuntu失败

解决办法：原因是因为我命令里最后一个ubuntu错打为ubunt，所以把命令改过来就可以

记录完成作业所花的时间

1、使用Docker-compose实现Tomcat+Nginx负载均衡：大约4.5h
2、使用Docker-compose部署javaweb运行环境：大约3h
3、使用Docker搭建大数据集群环境：大约5.5h
总计约13h

感想

好多好累好烦