• 第4次实践作业

    一、使用Docker-compose实现Tomcat+Nginx负载均衡

    1.理解nginx反向代理原理

    image.png

    • nginx正向代理原理

    正向代理，"它代理的是客户端"，是一个位于客户端和原始服务器(origin server)之间的服务器，为了从原始服务器取得内容，客户端向代理发送一个请求并指定目标(原始服务器)，然后代理向原始服务器转交请求并将获得的内容返回给客户端。客户端必须要进行一些特别的设置才能使用正向代理。

    • nginx反向代理原理

    反向代理（Reverse Proxy）方式是指以代理服务器来接受internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给internet上请求连接的客户端，此时代理服务器对外就表现为一个服务器（原始服务器对于客户端是透明的）。而正向代理（Forward Proxy），客户端请求时要指定原始服务器，代理再向原始服务器转交请求并将获得的内容返回给客户端。

    2.nginx代理tomcat集群，代理2个以上tomcat

    2.1创建文件
    • docker-compose.yml
    version: "3"
services:
    nginx:
        image: nginx
        container_name: "nginx-tomcat"
        ports:
            - 80:8001
        volumes:
            - ./nginx/default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
        depends_on:
            - tomcat01
            - tomcat02
            - tomcat03

    tomcat01:
        image: tomcat
        container_name: "tomcat01"
        volumes:
            - ./tomcat1:/usr/local/tomcat/webapps/ROOT # 挂载web目录

    tomcat02:
        image: tomcat
        container_name: "tomcat02"
        volumes:
            - ./tomcat2:/usr/local/tomcat/webapps/ROOT

    tomcat03:
        image: tomcat
        container_name: "tomcat03"
        volumes:
            - ./tomcat3:/usr/local/tomcat/webapps/ROOT
    • default.conf
    upstream tomcats {
    server tomcat01:8080;
    server tomcat02:8080; 
    server tomcat03:8080; 
}

server {
    listen 8001;
    server_name localhost;

    location / {
        proxy_pass http://tomcats; # 请求转向tomcats
    }
}
    • 3个index.html
    this is tomcat1/2/3!
    • 结构图
      image.png
    2.2拉取Tomcat镜像
    sudo docker pull tomcat:8.5
    2.3运行docker-compose
    sudo docker-compose up -d

    image.png

    2.4查看容器
    sudo docker ps -a

    image.png

    2.5访问localhost

    image.png

    3.了解nginx的负载均衡策略，并至少实现nginx的2种负载均衡策略

    3.1轮询策略
    • 创建test1.py
    import requests

url="http://127.0.0.1"

for i in range(0,10):
	reponse=requests.get(url)
	print(reponse.text)

    image.png

    3.2权重策略
    • 修改default.conf
    upstream tomcats {
    server tomcat01:8080 weight=1;
    server tomcat02:8080 weight=2; 
    server tomcat03:8080 weight=3; 
}

server {
    listen 80;
    server_name localhost;

    location / {
        proxy_pass http://tomcats; # 请求转向tomcats
    }
}

    • 重启docker服务,然后重新运行tomcat
      image.png

    • 写一个python爬虫统计访问次数

    import requests

url="http://127.0.0.1"
count={}
for i in range(0,2000):
    response=requests.get(url)
    if response.text in count:
        count[response.text]+=1;
    else:
        count[response.text]=1
for a in count:
    print(a, count[a])

    image.png

    二、使用Docker-compose部署javaweb运行环境

    1.分别构建tomcat、数据库等镜像服务

    image.png

    2.成功部署Javaweb程序，包含简单的数据库操作

    2.1下载资源（这里运用参考资料）
    2.2修改文件

    • 查看ip
      image.png

    • 修改ip
      image.png

    • 修改docker-compose.yml

    version: "3"   #版本
services:     #服务节点
  tomcat:     #tomcat 服务
    image: tomcat    #镜像
    hostname: hostname       #容器的主机名
    container_name: tomcat00   #容器名
    ports:      #端口
     - "5050:8080"
    volumes:  #数据卷
     - "./webapps:/usr/local/tomcat/webapps"
     - ./wait-for-it.sh:/wait-for-it.sh
    networks:   #网络设置静态IP
      webnet:
        ipv4_address: 15.22.0.15
  mymysql:  #mymysql服务
    build: .   #通过MySQL的Dockerfile文件构建MySQL
    image: mymysql:test
    container_name: mymysql
    ports:
      - "3309:3306" 
#红色的外部访问端口不修改的情况下，要把Linux的MySQL服务停掉
#service mysql stop
#反之，将3306换成其它的
    command: [
            '--character-set-server=utf8mb4',
            '--collation-server=utf8mb4_unicode_ci'
    ]
    environment:
      MYSQL_ROOT_PASSWORD: "123456"
    networks:
      webnet:
        ipv4_address: 15.22.0.6
  nginx:
      image: nginx
      container_name: "nginx-tomcat"
      ports:
          - 8080:8080
      volumes:
          - ./default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
      tty: true
      stdin_open: true
      networks:
       webnet:
        ipv4_address: 15.22.0.7
networks:   #网络设置
 webnet:
   driver: bridge  #网桥模式
   ipam:
     config:
      - 
       subnet: 15.22.0.0/24   #子网
    • 增加default.conf
    upstream tomcat123 {
    server tomcat00:8080;      
    server tomcat0I:8080;
}

server {
    listen 8080;      #这个改成8080的话是因为在调用原作者的数据库前端接口的时候，有一张数据图要向**127.0.0.1:端口**请求，如果内外端口不统一的话就会显示不了数据图.
    server_name localhost;

    location / {
        proxy_pass http://tomcat123;
    }
}
    • 其余文件不改，结构图
      image.png
    2.3开始部署
    • 启动容器
    sudo docker-compose up -d

    image.png
    image.png

    • 访问前端页面
      image.png
    2.4数据库操作

    image.png

    3.为上述环境添加nginx反向代理服务，实现负载均衡

    image.png

    三、使用Docker搭建大数据集群环境

    1pull Ubuntu镜像

    sudo docker pull ubuntu
cd ~
mkdir build
sudo docker run -it -v /home/tao/build:/root/build --name ubuntu ubuntu

    2Ubuntu容器初始化

    • 换源
    cat<<EOF>/etc/apt/sources.list  
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
EOF

    image.png

    • 更新软件源
     apt-get update
    • 安装vim（便于在容器中编辑文件）
     apt-get install vim
    • 安装ssh（在开启分布式Hadoop时，需要用到ssh连接slave节点）
     apt-get install ssh
    • 开启sshd服务器
    /etc/init.d/ssh start     # 运行脚本即可开启sshd服务器
vim ~/.bashrc             
/etc/init.d/ssh start  # 在该文件中最后一行添加如下内容，实现进入Ubuntu系统时，都能自动启动sshd服务

    image.png

    • 配置ssh
    cd ~/.ssh
ssh-keygen -t rsa #一直按回车即可
cat id_rsa.pub >> authorized_keys

    image.png

    • 安装JDK
    apt-get install openjdk-8-jdk
vim ~/.bashrc       # 在文件末尾添加以下两行，配置Java环境变量：
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export PATH=$PATH:$JAVA_HOME/bin

    image.png

    source ~/.bashrc # 使.bashrc生效
java -version #查看是否安装成功

    image.png

    • 保存新镜像文件
    sudo docker commit 7e841b9f88c4 ubuntu:jdk8    #7e841b9f88c4:容器ID jkd8版本的ubuntu
sudo docker run -it -v /home/tao/build:/root/build --name ubuntu-jdk8 ubuntu:jdk8

    image.png

    3.安装Hadoop

    cd /root/build
#将hadoop压缩包放入本地build文件夹中，这里使用大数据实验中的3.1.3版本
tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local 
cd /usr/local/hadoop-3.1.3
./bin/hadoop version # 验证安装

    image.png

    4.配置Hadoop

    4.1 进入工作目录
    cd /usr/local/hadoop-3.1.3/etc/hadoop
    4.2修改文件
    • hadoop-env.sh文件（修改JAVA_HOME）
    vim hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ # 在任意位置添加

    image.png

    • core-site.xml文件
    <configuration>
    <property>  
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop-3.1.3/tmp</value>
	<description>A base for other temporary directories.</description>
    </property>
</configuration>

    image.png

    • hdfs-site.xml文件
    <configuration>
        <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop-3.1.3/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop-3.1.3/tmp/dfs/data</value>
    </property>
</configuration>
    • mapred-site.xml文件
    <configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>master:10020</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>master:19888</value>
	</property>
	<property>
		<name>mapreduce.application.classpath</name>
		<value>/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/lib/*,/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/*</value>
	</property>
</configuration>
    • yarn-site.xml文件
    <configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>master</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-pmem-ratio</name>
		<value>2.5</value>
	</property>
</configuration>

    image.png

    4.3修改脚本
    • 回到工作目录
    cd /usr/local/hadoop-3.1.3/sbin
    • 对于start-yarn.sh添加参数
    vim start-dfs.sh

    HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

    image.png

    • 对于stop-yarn.sh添加参数
    vim stop-dfs.sh

    YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

    image.png

    5.运行hadoop

    • 再次保存镜像
    sudo docker commit 85258e82ac8f  ubuntu/hadoopinstalled

    image.png

    • 分别打开三个终端，运行ubuntu/hadoop容器
    sudo docker run -it -h master --name master ubuntu/hadoopinstalled # 第一个终端
sudo docker run -it -h slave01 --name slave01 ubuntu/hadoopinstalled # 第二个终端
sudo docker run -it -h slave02 --name slave02 ubuntu/hadoopinstalled # 第三个终端

    image.png

    • 三个终端分别查看/etc/hosts，get各自的IP
    cat /etc/hosts
    • 将三个终端的地址分别在添加到各自的/etc/hosts文件中
    172.17.0.4      master
172.17.0.5      slave01
172.17.0.6      slave02
    • 在master节点终端检测下master是否可以连上slave01和slave02
    ssh slave01
ssh slave02
exit   #连接上slave节点后从slave节点退回master节点

    image.png

    • 修改workers文件
    #将localhost替换为以下两行
slave01
slave02

    image.png

    5.测试Hadoop集群

    5.1格式化并启动hadoop
    cd /usr/local/hadoop-3.1.3
bin/hdfs namenode -format      #首次启动Hadoop需要格式化
sbin/start-all.sh              #启动Hadoop

    image.png

    5.2运行命令jps查看运行结果
    • master节点：
      image.png
    • slave01节点：
      image.png
    • slave02节点：
      image.png

    6.运行grep实例

    • 建立HDFS文件夹
    bin/hdfs dfs -mkdir /user 
bin/hdfs dfs -mkdir /user/root      #注意input文件夹是在root目录下
bin/hdfs dfs -mkdir input

    image.png

    • 运行一个功能为计算字符串个数的jar包
    bin/hadoop jar /usr/local/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount input output

    image.png

    • cat查看output文件夹结果显示
    ./bin/hdfs dfs -cat output/*

    image.png

    四、总结

    1.困难

    1.1镜像下载太慢

    解决：用阿里云镜像加速

    sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://pk0h8mhv.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker
    1.2镜像重名

    解决：强制删除镜像再启动容器

    1.3网站无法登入

    解决：Dao层接口与usermapper.xml中返回值类型不一样，但具体问题在哪未能解决。

    2.耗时

    项目 耗时（h)
    实验一 2
    实验二 4
    实验三 5
    写博客及查资料 2

    3.感谢

    太多了。自己太菜了。出错不知道错在哪。
  • 相关阅读:
    NPOI开发手记
    jQuery.form开发手记
    jQuery.Flot开发手记
    node.js初探
    Linux私房菜阅读笔记
    c#实现常用排序算法
    Excel自定义函数开发手记
    浅谈知识管理
    Git学习手记
    c# 屏蔽快捷键
  • 原文地址：https://www.cnblogs.com/fdltbk/p/12911571.html
Copyright © 2020-2023  润新知