2020系统综合实践 第4次实践作业

（1）使用Docker-compose实现Tomcat+Nginx负载均衡

1.反向代理：代理服务器

反向代理，客户端对代理是无感知的，因为客户端不需要任何配置就可以访问，只需要将请求发送到反向代理服务器，由反向代理服务器去选择目标服务器获取数据后，在返回给客户端，此时反向代理服务器和目标服务器对外就是一个服务器，暴露的是代理服务器地址，隐藏了真实服务器IP地址。

树形图

Docker-compose.yml

Docker-compose运行

sudo docker-compose up -d –build

第一种负载均衡策略：轮询方式

第二种负载均衡策略：权重方式

第三种负载均衡策略：iphash方式

(2) 使用Docker-compose部署javaweb运行环境

docker-compose.yml

version: '2'   #版本
services:     #服务节点
  tomcat:     #tomcat 服务
    image: tomcat:7    #镜像
    hostname: lzz       #容器的主机名
    container_name: lzz   #容器名
    ports:      #端口
     - "5050:8080"
    volumes:  #数据卷
     - "$PWD/webapps:/usr/local/tomcat/webapps"
    networks:   #网络设置静态IP
      webnet:
        ipv4_address: 15.22.0.15
  mymysql:  #mymysql服务
    build: .   #通过MySQL的Dockerfile文件构建MySQL
    image: mymysql:test
    container_name: mymysql
    ports:
      - "3306:3306" 
 
#红色的外部访问端口不修改的情况下，要把Linux的MySQL服务停掉
 
#service mysql stop
 
#反之，将3306换成其它的
    command: [
            '--character-set-server=utf8mb4',
            '--collation-server=utf8mb4_unicode_ci'
    ]
    environment:
      MYSQL_ROOT_PASSWORD: "123456"
    networks:
      webnet:
        ipv4_address: 15.22.0.6
networks:   #网络设置
 webnet:
   driver: bridge  #网桥模式
   ipam:
     config:
       - subnet: 15.22.0.0/24   #子网
         gateway: 15.22.0.2   #网关

docker-entrypoint.sh

#!/bin/bash
mysql -uroot -p123456 << EOF    #  << EOF 必须要有
source /usr/local/grogshop.sql;

Dockerfile

#  这个是构建MySQL的dockerfile
 
FROM registry.saas.hand-china.com/tools/mysql:5.7.17
 
# mysql的工作位置
ENV WORK_PATH /usr/local/
 
# 定义会被容器自动执行的目录
ENV AUTO_RUN_DIR /docker-entrypoint-initdb.d
 
#复制gropshop.sql到/usr/local 
COPY grogshop.sql  /usr/local/
#把要执行的shell文件放到/docker-entrypoint-initdb.d/目录下，容器会自动执行这个shell
COPY docker-entrypoint.sh  $AUTO_RUN_DIR/
 
#给执行文件增加可执行权限
RUN chmod a+x $AUTO_RUN_DIR/docker-entrypoint.sh
 
# 设置容器启动时执行的命令
#CMD ["sh", "/docker-entrypoint-initdb.d/import.sh"]

查看修改本机ip

访问主页（http://127.0.0.1:5050/ssmgrogshop_war）

查询添加删除

反向代理default.conf

upstream tomcats{
        server tomcat1:8080 ;
        server tomcat2:8080 ;
        server tomcat3:8080 ;

}
server {
    listen 8082;
    server_name localhost;

location / {
root   /usr/share/nginx/html;
    index  index.html index.htm;
proxy_pass http://tomcats;
}

}

反向代理修改docker-compose.yml

version: "3.1"
services:
    nginx:
        image: nginx
        container_name: ng1
        ports:

   - 80:8082

        - ./nginx/default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
          on:
             - tomcat01
               02
                  - tomcat03

tomcat01:
    image: tomcat
    container_name: tomcat1
    volumes:

   - ./tomcat/tomcat1:/usr/local/tomcat/webapps/ROOT # 挂载web目录

tomcat02:
    image: tomcat
    container_name: tomcat2
    volumes:

   - ./tomcat/tomcat2:/usr/local/tomcat/webapps/ROOT

tomcat03:
    image: tomcat
    container_name: tomcat3
    volumes:

   - ./tomcat/tomcat3:/usr/local/tomcat/webapps/ROOT

（3）使用Docker搭建大数据集群环境

创建目录

换源

cat<<EOF>/etc/apt/sources.list
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
EOF

安装相应工具

apt-get update
apt-get install vim        # 安装vim
apt-get install ssh        # 安装sshd
/etc/init.d/ssh start      # 运行脚本即可开启sshd服务器
vim ~/.bashrc              # 启动命令写进~/.bashrc文件
/etc/init.d/ssh start      # 在该文件中最后一行添加如下内容

配置ssh无密码连接本地sshd服务

ssh-keygen -t rsa # 一直按回车即可
cd ~/.ssh
cat id_rsa.pub >> authorized_keys 

安装JDK

apt-get install default-jdk

vim ~/.bashrc
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/      #打开~/.bashrc文件，在最后输入两行内容
export PATH=$PATH:$JAVA_HOME/bin  
source ~/.bashrc                                         # 执行命令使~/.bashrc生效                  

保存镜像文件

![](https://img2020.cnblogs.com/blog/1794594/202005/1794594-20200517155710541-836009032.jpg)

安装Hadoop

开启保存的那份镜像ubuntu/jdkinstalled

docker run -it -v /home/hadoop/build:/root/build --name ubuntu-jdkinstalled ubuntu/jdkinstalled

开启系统之后，我们把下载下来的Hadoop安装文件放到共享目录/home/hadoop/build下面，然后在Docker内部Ubuntu系统的/root/build目录即可获取到Hadoop安装文件；

cd /root/build
tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local

配置Hadoop集群

打开hadoop_env.sh文件，修改JAVA_HOME

vim etc/hadoop/hadoop-env.sh
# 将export JAVA_HOME=${JAVA_HOME}替换成
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/

向core-site.xml添加内容

<configuration>
      <property>
          <name>hadoop.tmp.dir</name>
          <value>file:/usr/local/hadoop/tmp</value>
          <description>Abase for other temporary directories.</description>
      </property>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://master:9000</value>
      </property>
</configuration>

向hdfs-site.xml添加内容

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/namenode_dir</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/datanode_dir</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

向mapred-site.xml添加内容

<configuration>
	<property>
		<!--使用yarn运行MapReduce程序-->
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<!--jobhistory地址host:port-->
		<name>mapreduce.jobhistory.address</name>
		<value>master:10020</value>
	</property>
	<property>
		<!--jobhistory的web地址host:port-->
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>master:19888</value>
	</property>
	<property>
		<!--指定MR应用程序的类路径-->
		<name>mapreduce.application.classpath</name>
		<value>/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/lib/*,/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/*</value>
	</property>
</configuration>

向yarn-site.xml添加内容

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>master</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-pmem-ratio</name>
		<value>2.5</value>
	</property>
</configuration>

向start-dfs.sh和stop-dfs.sh文件添加下列参数

cd /usr/local/hadoop-3.1.3/sbin

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

向start-yarn.sh和stop-yarn.sh添加下列参数

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

保存镜像

sudo docker commit 容器ID ubuntu/hadoopinstalled

配置Hadoop

三个终端上开启三个容器运行ubuntu/hadoopinstalled镜像，分别表示Hadoop集群中的master,slave01和slave02；

# 第一个终端
docker run -it -h master --name master ubuntu/hadoopinstalled
# 第二个终端
docker run -it -h slave01 --name slave01 ubuntu/hadoopinstalled
# 第三个终端
docker run -it -h slave02 --name slave02 ubuntu/hadoopinstalled

查看并修改ip

cat /etc/hosts

ssh连接

ssh slave02

修改master上workers文件,localhost修改如下

slave01
slave02

启动Hadoop集群

在master终端上，首先进入/usr/local/hadoop，然后运行如下命令：

cd /usr/local/hadoop
bin/hdfs namenode -format
sbin/start-all.sh

jps查看结果

运行grep

./bin/hdfs dfs -mkdir -p /user/hadoop/input       # 在hdfs上创建一个目录
dfs -put ./etc/hadoop/*.xml /user/hadoop/input    #将/usr/local/hadoop/etc/hadoop/目录下的所有文件拷贝到hdfs上的目录
dfs -ls /user/hadoop/input                        #通过ls命令查看下是否正确将文件上传到hdfs下

运行下面命令执行实例程序

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep /user/hadoop/input output 'dfs[a-z.]+'

结果

（4）总结

• 时间：三天
• 感想：这又是一门软工实践，自己还要继续学习。