系统综合实践-第四次作业

（1）使用Docker-compose实现Tomcat+Nginx负载均衡

理解nginx反向代理原理；

nginx代理tomcat集群，代理2个以上tomcat；

项目结构

docker-compose.yml编写

version: "3.8"
 services:
    nginx:
        image: nginx
        container_name: cgh-docker-4
        ports:
            - 80:2538
        volumes:
            - ./nginx/default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
        depends_on:
            - tomcat01
            - tomcat02
            - tomcat03

    tomcat01:
        image: tomcat
        container_name: ctc1
        volumes:
            - ./tomcat1:/usr/local/tomcat/webapps/ROOT # 挂载web目录

    tomcat02:
        image: tomcat
        container_name: ctc2
        volumes:
            - ./tomcat2:/usr/local/tomcat/webapps/ROOT

    tomcat03:
        image: tomcat
        container_name: ctc3
        volumes:
            - ./tomcat3:/usr/local/tomcat/webapps/ROOT

那三个index文件随便写什么都可以，只要能代表各自的一二三就行。

nginx编写

upstream tomcats {
    server ctc1:8080; # 主机名:端口号
    server ctc2:8080; # tomcat默认端口号8080
    server ctc3:8080; # 默认使用轮询策略
}

server {
    listen 2438;
    server_name localhost;

    location / {
        proxy_pass http://tomcats; # 请求转向tomcats
    }
}

启动

sudo docker-compose up

用另外一个终端来运行 curl

这里可以看到它是处于一个轮询的情况，访问了1就去2再去3再回来1

改变权重策略

upstream tomcats {
    server ctc1:8080 weight=1; # 主机名:端口号
    server ctc2:8080 weight=3; # tomcat默认端口号8080
    server ctc3:8080 weight=5; # 默认使用轮询策略
}

在9次中，1出现了一次，2出现了3次，3出现了5次，符合预期结果。

（2）使用Docker-compose部署javaweb运行环境

我使用的是老师给的连接中的webapp项目
项目结构如下：（注意这个地方我们相对于那个博客项目多了一个default.conf，自行创建）

tree -L 2     (L代表深度，2代表级别)

docker-compose.yml

version: "3"   #版本
services:     #服务节点
  tomcat:     #tomcat 服务
    image: tomcat    #镜像
    hostname: hostname       #容器的主机名
    container_name: tomcat00   #容器名
    ports:      #端口
     - "5050:8080"
    volumes:  #数据卷
     - "./webapps:/usr/local/tomcat/webapps"
     - ./wait-for-it.sh:/wait-for-it.sh
    networks:   #网络设置静态IP
      webnet:
        ipv4_address: 15.22.0.15
  mymysql:  #mymysql服务
    build: .   #通过MySQL的Dockerfile文件构建MySQL
    image: mymysql:test
    container_name: mymysql
    ports:
      - "3309:3306" 
#红色的外部访问端口不修改的情况下，要把Linux的MySQL服务停掉
#service mysql stop
#反之，将3306换成其它的
    command: [
            '--character-set-server=utf8mb4',
            '--collation-server=utf8mb4_unicode_ci'
    ]
    environment:
      MYSQL_ROOT_PASSWORD: "123456"
    networks:
      webnet:
        ipv4_address: 15.22.0.6
  nginx:
      image: nginx
      container_name: "nginx-tomcat"
      ports:
          - 8080:8080
      volumes:
          - ./default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
      tty: true
      stdin_open: true
      networks:
       webnet:
        ipv4_address: 15.22.0.7
networks:   #网络设置
 webnet:
   driver: bridge  #网桥模式
   ipam:
     config:
      - 
       subnet: 15.22.0.0/24   #子网

default.conf

upstream tomcat123 {
    server tomcat00:8080;
}

server {
    listen 8080;
    server_name localhost;

    location / {
        proxy_pass http://tomcat123;
    }
}

未贴出的文件就是不需要改的文件

修改连接的ip和端口

查看IP的命令都写好
ifconfig -a
查看enp开头的那一个网卡

在 /webapps/ssmgrogshop_war/WEB-INF/classes/jdbc.properties 修改ip和端口

启动容器

docker-compose up -d

这里可以看到

再看容器的运行情况

浏览结果（选一个）

http://127.0.0.1:8080/ssmgrogshop_war
http://主机ip地址:8080/ssmgrogshop_war

得到结果：

成功进入界面

可以直接进行界面的操作

（3）使用Docker搭建大数据集群环境

实验环境

ubuntu 18.04 LST
openjdk 1.8
hadoop 3.1.3

创建并运行容器 (因为上面终端记录被覆盖了，所以没截图，下面有成功的截图)

docker run -it -v ~/:/root/build --name ubuntu ubuntu

更新软件源以及安装vim 和安装sshd

apt-get update
apt-get install vim # 用于修改配置文件
apt-get install ssh # 分布式hadoop通过ssh连接
/etc/init.d/ssh start # 开启sshd服务器
vim ~/.bashrc # 在文件末尾添加/etc/init.d/ssh start，实现ssd开机自启

然后去实现免密登陆

ssh-keygen -t rsa # 一直按回车即可
cd ~/.ssh
cat id_rsa.pub >> authorized_keys 

安装JDK，一般安装1.8的

apt-get install openjdk-8-jdk
本来这里要配置文件，但等后面一起配置方便。

安装hadoop

这里如果有做大数据的同学，应该有老师给的hadoop-3.1.3.tar.gz包，然后我们的做法就是，把这个包放入容器中的/root/ 目录下，再通过解压放到容器的/usr/local 下。
指令如下：
先退出容器

root@3459a8f9e5db:~# exit  （这个指令退出容器）

将压缩包拷入容器

cgh@cgh-VirtualBox:~$ sudo docker cp /home/cgh/hadoop-3.1.3.tar.gz 容器ID:/root/hadoop-3.1.3.tar.gz   
(这一步第一个地址是你虚拟机内存放hadoop压缩包的地址，第二个地址是要拷贝到容器里面的地址，容器ID因人而异)

重回容器中

cgh@cgh-VirtualBox:~$ docker restart 容器ID  （刚刚容器被我退出了，现在要重新启动）
cgh@cgh-VirtualBox:~$ docker attach 容器ID    （进入容器）

解压hadoop

root@3459a8f9e5db:~# cd /root
root@3459a8f9e5db:~# tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local   （这里是已经进入root的文件夹中了）
（然后会运行一大堆解压的，把你上面的东西都滚过去了，如果没截图记得早点截图）

进行环境的配置

root@3459a8f9e5db:~# vim ~/.bashrc # 在文件末尾添加以下五行，配置Java、hadoop环境变量：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/usr/local/hadoop-3.1.3
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$JAVA_HOME/bin

使配置环境生效

root@3459a8f9e5db:~# source ~/.bashrc   

验证安装是否完成

root@3459a8f9e5db:~# java -version

再验证hadoop

root@3459a8f9e5db:~# hadoop version

(3)配置hadoop集群

进入配置目录

cd /usr/local/hadoop-3.1.3/etc/hadoop

把四个文件都设置一下。

hadoop-env.sh

vim hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ 

core-site.xml

vim core-site.xml

<?xml version="1.0" encoding="UTF-8" ?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl" ?>
<configuration>
          <property> 
                  <name>hadoop.tmp.dir</name>
                  <value>file:/usr/local/hadoop-3.1.3/tmp</value>
                  <description>Abase for other temporary directories.</description>
          </property>
          <property>
                  <name>fs.defaultFS</name>
                  <value>hdfs://master:9000</value>
          </property>
</configuration>

hdfs-site.xml

vim hdfs-site.xml

<?xml version="1.0" encoding="UTF-8" ?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl" ?>
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
		        <value>file:/usr/local/hadoop-3.1.3/tmp/dfs/name</value>
	</property>
	<property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop-3.1.3/tmp/dfs/data</value>
	</property>
	<property>
                <name>dfs.permissions.enabled</name>
                <value>false</value>
        </property>
</configuration>

mapred-site.xml

vim mapred-site.xml

<?xml version="1.0" ?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl" ?>
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.3</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.3</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.3</value>
    </property>
</configuration>

yarn-site.xml

vim yarn-site.xml

<?xml version="1.0" ?>
<configuration>
<!-- Site specific YARN configuration properties -->
        <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
        </property>
        <property>
               <name>yarn.resourcemanager.hostname</name>
               <value>Master</value>
        </property>
        <property>
               <name>yarn.nodemanager.vmem-pmem-ratio</name>
               <value>2.5</value>
        </property>
</configuration>

进入脚本目录

cd /usr/local/hadoop-3.1.3/sbin

再添加一些东西到下面的文件里

对于start-dfs.sh和stop-dfs.sh文件，添加下列参数

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

对于start-yarn.sh和stop-yarn.sh，添加下列参数

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

构建镜像

docker commit 容器ID ubuntu/hadoop 

开启三个终端

# 第一个终端
docker run -it -h master --name master ubuntu/hadoop
# 第二个终端
docker run -it -h slave01 --name slave01 ubuntu/hadoop
# 第三个终端
docker run -it -h slave02 --name slave02 ubuntu/hadoop

查看三个主机的ip地址，方便配置

sudo docker inspect --format='{{.NetworkSettings.IPAddress}}' 名字

分别修改/etc/hosts

同理把slave01 和slave02 的都修改了

172.17.0.5      master
172.17.0.3      slave01
172.17.0.4      slave02

相互进行ssh 发现可以到达对方主机

master主机上修改workers

vim /usr/local/hadoop-3.1.3/etc/hadoop/workers

slave01
slave02

开启服务

在master 主机上运行一下指令（大数据做过类似的）

cd /usr/local/hadoop-3.1.3
bin/hdfs namenode -format # 格式化文件系统
sbin/start-dfs.sh # 开启NameNode和DataNode服务
sbin/start-yarn.sh 

查看是否成功

运行hadoop实例程序 （这里如果出问题了，大概率就是你的hdfs-site.xml没配置好）

grep测试 (大数据老测试了)

hdfs dfs -mkdir -p /user/root/input    #新建input文件夹
hdfs dfs -put /usr/local/hadoop-3.1.3/etc/hadoop/*s-site.xml input  #将部分文件放入input文件夹
hadoop jar /usr/local/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep input output 'dfs[a-z.]+'    #运行示例程序grep
hdfs dfs -cat output/*   #查看运行结果

wordcount测试 （这里注意output不能和上一个重名了）

hdfs dfs -mkdir -p /user/root/input    #新建input文件夹
vim txt1.txt   #在当前目录下新建txt1.txt
vim txt2.txt   #在当前目录下新建txt2.txt
hdfs dfs -put ./*.txt input  #将新建的文本文件放入input文件夹
hadoop jar /usr/local/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount input output1   #运行示例程序wordcount
hdfs dfs -cat output1/*   #查看运行结果

三、主要问题和解决方法

问题：实验二的javaweb配置好后，无法连接到网页
答：后面检查好端口和容器的存活情况之后，根据日志及时发现了问题，是由于配置文件的错误
问题：实验三中，最后测试的时候，第二个测试过不了
答： 输出不能重名
问题：出现内存不足
答 ：加大内存和虚拟内存映射的倍数

四：感想

实验二和三花了好久时间，辛亏实验三在大数据课程中学习过了，比较不会那么的寒碜，比较容易理解。
我觉得需要找个时间把用过的指令记录一下，否则太费时间了