MemCache在tomcat中的负载均衡和session交叉存放
Nginx是一个高性能的 HTTP 和 反向代理 服务器，本文讲述的是简单的 nginx+tomcat+memcache 实现的负载均衡和session共享。其中用memcache来存储session，tomcat作为servlet容器，nginx作为tomcat代理，对外接口。这个时候只要保证memcache服务器不停，tomcat之间可以任意热插拔。实现了session的独立存储，需要的话，还可以存储到数据库或者文件中，也不用考虑是否使用黏性session。
Tomcat 服务器是一个免费的开放源代码的Web 应用服务器，属于轻量级应用服务器，在中小型系统和并发访问用户不是很多的场合下被普遍使用，是开发和调试JSP 程序的首选。对于一个初学者来说，可以这样认为，当在一台机器上配置好Apache 服务器，可利用它响应HTML(标准通用标记语言下的一个应用)页面的访问请求。实际上Tomcat是Apache 服务器的扩展，但运行时它是独立运行的，所以当你运行tomcat 时，它实际上作为一个与Apache 独立的进程单独运行的。
诀窍是，当配置正确时，Apache 为HTML页面服务，而Tomcat 实际上运行JSP 页面和Servlet。另外，Tomcat和IIS等Web服务器一样，具有处理HTML页面的功能，另外它还是一个Servlet和JSP容器，独立的Servlet容器是Tomcat的默认模式。不过，Tomcat处理静态HTML的能力不如Apache服务器。
使用nginx作为前端服务器来实现tomcat负载均衡及高可用，同时基于jsp的动态特征，我们将引入memcache来保持网页在连接过程中的session保持，利用memcached把多个tomcat的session集中管理。当memcached有两个时可以采用交叉存储，可以更好的避免单点故障。
实验环境：
172.25.254.1 tomcat服务器（用于负载均衡）
172.25.254.2 nginx反向代理服务器、tomcat服务器（用于负载均衡）
172.25.254.3 memcache server1的 （用来存储session信息，和客户端输入的信息）
172.25.254.4 memcache server2的 （用来存储session信息，和客户端输入的信息）
172.25.254.5 client（用于做测试）
一.java环境的配置
1.jdk的安装
注意：tomcat要在java环境下 安装jdk（java必须要的）编写一个test脚本，检测
tar zxf jdk-7u79-linux-x64.tar.gz -C /usr/local/ ## tar解压命令中 -C是指解压到指定的路径下
cd /usr/local/
ls
ln -s jdk1.7.0_79/ java ####做软连接，升级的时候只升级软连接，较为方便
cd java/
ls ##查看软连接
2.添加java的环境变量
vim /etc/profile ## 配置java的环境变量
export JAVA_HOME=/usr/local/java
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile ##重新加载配置文件
3.检测jdk环境是否正确
cd ~
vim test.java
public class test {
public static void main(String[] args)
{
System.out.println("Hello World!");
}
}
javac test.java ##编译生成可执行文件
java test ##运行编写的java脚本
二.apache-tomcat的安装及其负载均衡的实现
1.下载安装包并指定解压到相应的路径下
tar zxf apache-tomcat-7.0.37.tar.gz -C /usr/local/
cd /usr/local/
ln -s apache-tomcat-7.0.37/ tomcat
2.开启tomcat服务
cd tomcat/
bin/startup.sh ##开启服务
netstat -antlp | grep 8080
cd webapps/
cd ROOT/
pwd
/usr/local/tomcat/webapps/ROOT ##这里是tomcat的发布页面的默认路径
3.测试页面：
4.编译相应的配置文件
cd /usr/local/openresty/nginx/conf/
vim nginx.conf
location ~ .jsp$ {
proxy_pass http://172.25.254.2:8080;
}
pwd
/usr/local/openresty/nginx/sbin
./nginx -s reload
5.进入nginx（用作反向代理）的发布目录，测试tomcat是否安装正确
pwd
/usr/local/openresty/nginx/html
ls
50x.html example.php index.html index.php
vim index.jsp
1 the time is:<%=new java.util.Date() %>
6.打开两台虚拟机，用作负载均衡（这两个虚拟机就是tomcat的两个服务器）
（1）将已经配置好的服务器上的配置文件 scp到另一台没有配置的服务器上。 tomcat（之间信息不共享）和jdk的压缩包
scp -r root@172.25.254.1:/usr/local/tomcat /usr/local ##tomcat的配置文件
scp -r root@172.25.254.1:/usr/local/java /usr/local ##tomcat需要的Java的环境
（2）在另一台虚拟机上，配置相应的配置（java的环境变量）。
cd /usr/local
ls
ln -s jdk1.7.0_79/ java
ln -s apachecd-tomcat-7.0.37/ tomcat
vim /etc/profile
80 export JAVA_HOME=/usr/local/java
81 export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
82 export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile ##重新加载环境变量
7.先打开之前的虚拟机，打开nginx，并测试之前的tomcat的测试页面是否能用
cd /usr/local/
cd tomcat/
bin/startup.sh ##开启tomcat服务
8.测试：
打开页面 172.25.254.2/test.jsp ##查看新添加的服务器的tomcat是否能用
9.编辑nginx的配置文件，添加负载均衡的主机
cd /usr/local/openresty/nginx/conf/
vim nginx.conf
17 http {
18 upstream tomcat{ ## tomcat的负载均衡的配置
19 server 172.25.254.1:8080; ##后端服务器之一
20 server 172.25.254.2:8080; ##后端服务器之一
21 }
72 location ~ .jsp$ { ##如果访问的页面，是以 .jsp结尾的，就去访问 //tomcat的默认的发布页面
73 proxy_pass http://tomcat; ##这个就是上面的那就话的相应的设置
74 }
添加相应的注释：
54 #location /memc {
55 # internal;
56 # memc_connect_timeout 100ms;
57 # memc_send_timeout 100ms;
58 # memc_read_timeout 100ms;
59 # set $memc_key $query_string;
60 # set $memc_exptime 300;
61 # memc_pass memcache;
62 #}
78 location ~ .php$ {
79 # set $key $uri$args;
80 # srcache_fetch GET /memc $key;
81 # srcache_store PUT /memc $key;
cd /usr/local/openresty/nginx/sbin/
./nginx -t ## nginx进行配置文件的语法检测，查看是否有语法错误
./nginx -s reload ## 重启nginx
10.编写两个服务器的测试页面的内容
cd /usr/local/tomcat/webapps/ROOT/ ##server1的测试页面
vim test.jsp
server1 the time is:<%=new java.util.Date() %>
cd /usr/local/tomcat/webapps/ROOT/ ##server2的测试页面
vim test.jsp
server2 the time is:<%=new java.util.Date() %>
11.测试：
在client输入： 172.25.254.2:8080 ##会出现 tomcat 图形界面
在client输入：172.25.254.2/test.jsp ##在不断的进行刷新，就会出现负载均衡的效果。
三.tomcat下的session共享（通过memcache实现）
1.什么是session？
在计算机中，尤其是在网络应用中，称为“会话控制”。Session对象存储特定用户会话所需的属性及配置信息。这样，当用户在应用程序的 Web 页之间跳转时，存储在 Session对象中的变量将不会丢失，而是在整个用户会话中一直存在下去。当用户请求来自应用程序的 Web 页时，如果该用户还没有会话，则 Web服务器将自动创建一个 Session 对象。当会话过期或被放弃后，服务器将终止该会话。Session对象最常见的一个用法就是存储用户的首选项。例如，如果用户指明不喜欢查看图形，就可以将该信息存储在 Session 对象中。
2.为什么要使用session？
为了对数据的保存更加牢靠，我们选择交叉存放session的方法，即将访问tomcat1上的数据存放在memcache2中，将访问tomcat2上的数据存放在memcache1中，这样存放，当某个tomcat服务断了之后，访问它的客户session并不会消失，而是存放在了对立的memcache，如果存放session的memcache坏了，那么它的数据会立即切换到另一个memcached中
3.session和cookie的区别是什么？
（1）session存储在服务器端，而cookie存储在浏览器中。
（2）session可以存储任何形式的文件，而cookie只能存储ASCII码。
（3）session因为存储在服务器端，因此安全。cookie因为存储在浏览器中，有的软件或者程序会读取用户的cookie值，有可能会进行cookie欺骗，因此不安全。
（4）session因为存储在服务器端，当处在并发量大的时候，因为服务器上的session存储太多，会占用大量的内存，会影响服务器的性能。因为cookie存储在浏览器中，不会占用服务器中的内存，在高并发的情况下，也不会影响服务器的性能。
（5）单个cookie保存的数据不能超过4K，很多浏览器都限制一个站点最多保存20个cookie。
（6）服务器会把长时间没有活动的Session从服务器内存中清除，此时Session便失效。Tomcat中Session的默认失效时间为20分钟。
注意: nginx-sticky-module 为 nginx 的第三方模块,使 nginx 支持 sticky 模式,所谓 sticky 模式就是指同一个用户的访问请求都被发送到同一个 tomcat 实例上处理。
4.重新编写 tomcat 默认的发布页面的文件信息
cd /usr/local/tomcat/webapps/ROOT/
ls
vim test.jsp
vge contentType="text/html; charset=GBK" %>
<%@ page import="java.util.*" %>
<html><head><title>Cluster App Test</title></head>
<body>
Server Info:
<%
out.println(request.getLocalAddr() + " : " + request.getLocalPort()+"<br>");%>
<%
out.println("<br> ID " + session.getId()+"<br>");
String dataName = request.getParameter("dataName");
if (dataName != null && dataName.length() > 0) {
String dataValue = request.getParameter ("dataValue");
session.setAttribute(dataName, dataValue);
}
out.print("<b>Session list</b>");
Enumeration e = session.getAttributeNames();
while (e.hasMoreElements()) {
String name = (String)e.nextElement();
String value = session.getAttribute(name).toString();
out.println( name + " = " + value+"<br>");
System.out.println( name + " = " + value);
}
%>
<form action="test.jsp" method="POST">
name:<input type=text size=20 name="dataName">
<br>
key:<input type=text size=20 name="dataValue">
<br>
<input type=submit>
</form>
</body>
</html>
scp test.jsp root@172.25.11.1:/usr/local/tomcat/webapps/ROOT ## 两个 tomcat 服务器上都做相应的更改
5.测试：
在浏览器中分别输入：172.25.254.2/test.jsp
注意：测试的时候发现，每次提交新的用户信息，server info 和 ID 都会改变，且新的数据就会覆盖旧的数据内容。
6.同一个web界面（同一个用户）存储的数据，存储在同一个服务器上，不会在两个服务器之间跳转
（1）安装sticky粘滞
tar zxf nginx-1.10.1.tar.gz
tar zxf nginx-sticky-module-ng.tar.gz
（2）编辑nginx的配置信息，和上面的配置信息相同，只是在 upstream 内添加 sticky； 即可。
cd /usr/local/nginx/conf
vim nginx.conf
17 http {
18 upstream tomcat{
19 sticky; ##与之前的 nginx 的配置文件不同之处是：添加了这一行
20 server 172.25.254.1:8080;
21 server 172.25.254.2:8080;
22 }
23 include mime.types;
24 default_type application/octet-stream;
（3）重启服务
cd /usr/local/lnmp/nginx/sbin/
./nginx -t
./nginx
（4）测试：
在网页页面输入：172.25.254.2/test.jsp ##在同一个页面（不刷新的情况下），用户存入服务器的信息不会像上面一样，提交一次换一个服务器，保存在了同一个服务器上。
7.实现memcache的交叉存储的功能
#### 先查看没有配置交叉存储时，memcache的工作方式：####
（1）为了查看清楚将 server2 的日志文件先清空
cd /usr/local/tomcat/logs/
> catalina.out
（2）先测试一下没有实现交叉存储的实验结果
在网页的页面上输入：172.25.254.2/index.jsp
在测试页面输入需要存储的用户信息，如：user1/2/3/4 123/234/345/456
（3）人为的将 server1 的服务器down掉
pwd
/usr/local/tomcat/bin
./shutdown.sh
（4）查看 server2 上的日志文件
首先，先关闭 server1 的服务器，防止在查看数据信息的时候用户的写入导致用户存储的信息丢失。
然后，查看日志信息 cat /usr/local/tomcat/logs/catalina.out tail -f catalina.out ##发现2中没有将之前的信息缓存过来
最后，得出结论是，在没有修改memcache的配置文件的情况下，memcache没有实现交叉存储，而是将自己的信息存在了自己的memcache上。当某一个tomcat服务器down机之后，另一台服务器是拿不到down机的服务器保存的信息的，这样的情况在生产中是不可以的。
#### 然后现在开始配置memcache的相关的配置文件：####
（1）给负载均衡上安装memcache （给两个服务器都配置一个memcache）
yum install memcached -y
（2）在两个虚拟机上都开启memcache
/etc/init.d/memcached start
（3）编译tomcat和memcache有关的文件
cd /usr/local/tomcat/conf
vim context.xml
<ManagerclassName="de.javakaffee.web.msm.MemcachedBackupSessionManager"
##需要添加一些jar包,库函数的包
memcachedNodes="n1:172.25.254.1:11211,n2:172.25.254.2:11211"
##两个服务器的 IP 分别设置为n1，n2
failoverNodes="n1" ##出现故障访问n1，就相当于默认将数据存在n2上（这里设置应该是非本机的另一个服务器）
##在 node2 上此项设置为“n1”
requestUriIgnorePattern=".*.(ico|png|gif|jpg|css|js)$"
transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"
/>
注意：在配置文件中不要写多余的注释，在此仅为效果演示，否则配置文件检测是会报错的
mv jar/ /usr/local/tomcat/lib
rm -fr memcached-session-manager-tc6-1.6.3.jar
ls
netstat -antlp ##查看端口，出现了11211端口信息
bin/startup.sh ##开启tomcat服务
（4）查看日志的信息
pwd
/usr/local/tomcat/
cd logs/
cat catalina.out
出现memcached就算正确
（5）测试：
在网页上输入： 172.25.254.2/test.jsp
客户端存入一些数据：如 wf1/2 111/222等
查看 serve2 上的缓存记录：查看到了 server2上缓存到了server1 提交的信息
即，memcache 交叉存储配置完成。
============================================================================================
memcache的存储方式是：交叉存储的
也就是说，vm1将信息存储在vm2的memcache中，vm2将信息存储在vm1的memcache中。注意：本身tomcat里就存在缓存，也就是说，本身就存在缓存，再将缓存复制一份，存到另一个虚拟机的memcache中。
这样如果vm1的memcache挂掉了，vm2接管工作，不会丢失信息。
vm1在vm2中的memcache中存入数据，如果数据写到一半，vm1挂掉了，那么vm2会接管工作，接着在vm2的memcache中继续写入数据，而不会重新写入到vm1的memcache。
如果是新打开一个链接的话，会存到vm1的缓存
=============================================================================================