总概：
Keepalived是一个类似于layer3, 4 & 5交换机制的软件，也就是我们平时说的第3层、第4层和第5层交换。Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器
HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴露到网络上。
这里我利用HAproxy对多台redis服务器进行负载，然后用Keepalived对HAproxy进行监控：
（主）服务器A：10.10.51.231
（从）服务器B：10.10.51.232
VIP：10.10.51.230
Keepalived监控A、B上的HAproxy，利用Keepalived的VIP漂移技术，若A、B上的HAprox都工作正常，则VIP与优先级别高的服务器（主服务器）绑定，当主服务器当掉时，则与从服务器绑定，而VIP则是暴露给外部访问的ip；HAproxy利用Keepalived生产的VIP对多台redis（从）进行读负载，当某台redis当掉，则将其移除，回复后加入集群。
一、安装keepalived
1、下载后解压 tar zxvf keepalived-1.2.7.tar.gz 到任意目录
[root@Centos-Server ~]# tar zxvf keepalived-1.2.7.tar.gz -C /usr/local/keepalived
解压后，进入keepalived目录
[root@Centos-Server ~]# cd /usr/local/keepalived [root@Centos-Server ~]# ./configure [root@Centos-Server ~]# make && make install
注：若这里报错提示没有装openssl，则执行[root@Centos-Server ~]# yum –y install openssl-devel安装，若还有其他的包没装，则执行yum命令进行安装。
2、配置keepalived
[root@Centos-Server ~]# cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/ [root@Centos-Server ~]# cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/ [root@Centos-Server ~]# mkdir /etc/keepalived [root@Centos-Server ~]# cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/ [root@Centos-Server ~]# ln -s /usr/local/sbin/keepalived /usr/sbin/
[root@Centos-Server ~]# vi /etc/keepalived/keepalived.conf ! Configuration File for keepalived global_defs { router_id LVS_DEVEL } vrrp_script chk_haproxy { #Haproxy服务启动 script "/etc/keepalived/check_haproxy.sh" #监控haproxy进程的脚本, 根据自己的实际路径放置 interval 2 weight -4 }
vrrp_instance VI_1 { state MASTER #主机为MASTER，备机为BACKUP interface eth0 #监测网络端口，用ipconfig查看 virtual_router_id 51 #主备机必须相同 priority 150 #主备机取不同的优先级，主机要大。从服务器上改为120 advert_int 1 #VRRP Multicast广播周期秒数 authentication { auth_type PASS #VRRP认证方式 auth_pass 1111 #VRRP口令 主备机密码必须相同 }
track_script { #调用haproxy进程检测脚本 chk_haproxy } virtual_ipaddress { 10.10.51.230 #VIP 漂移地址 即集群IP地址 } }
[root@Centos-Server ~]# vim /etc/keepalived/check_haproxy.sh #!/bin/bash if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfg sleep 3
if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then /etc/init.d/keepalived stop fi fi
此文件root组读写权限,并且允许程序执行此文件。
[root@Centos-Server ~]# chmod 777 /etc/keepalived/check_haproxy.sh
三、安装HAproxy
1、下载后解压 tar zxvf haproxy-1.4.24.tar.gz 到任意目录
解压后，进入Haproxy目录
[root@Centos-Server ~]# cd /usr/local/haproxy-1.4.24 [root@Centos-Server ~]# make TARGET=linux26 PREFIX=/usr/local/haproxy [root@Centos-Server ~]# make install PREFIX=/usr/local/haproxy #将Haproxy安装到/usr/local/haproxy
2、配置HAproxy
[root@Centos-Server ~]# cd /usr/local/haproxy [root@Centos-Server ~]# vim haproxy.cfg
注：这里是没有haproxy.cfg文件的，可以回到安装文件目录下将examples下的haproxy.cfg拷贝到usr/local/haproxy下。
[root@Centos-Server haproxy-1.5.11]# cp /usr/local/mypackages/haproxy-1.5.11/examples/haproxy.cfg /usr/local/haproxy
####################HAProxy配置中分成五部分内容，当然这些组件不是必选的，可以根据需要选择部分作为配置。 #global ：参数是进程级的，通常和操作系统（OS）相关。这些参数一般只设置一次，如果配置无误，就不需要再次配置进行修改 #defaults：配置默认参数的，这些参数可以被利用配置到frontend，backend，listen组件 #frontend：接收请求的前端虚拟节点，Frontend可以根据规则直接指定具体使用后端的 backend(可动态选择)。 #backend ：后端服务集群的配置，是真实的服务器，一个Backend对应一个或者多个实体服务器。 #listen ：Frontend和Backend的组合体。 global log 127.0.0.1 local0 #日志输出配置，所有日志都记录在本机，通过local0输出 maxconn 4096 #限制单个进程的最大连接数 chroot /usr/local/haproxy #Haproxy安装目录 uid 99 #所属运行用户，默认99为nobody gid 99 #所属运行用户组，默认99为nobody daemon #让进程作为守护进程在后台运行 nbproc 1 #指定作为守护进程运行时的进程数 pidfile /usr/local/haproxy/haproxy.pid #将所有进程写入pid文件 defaults log global mode tcp #所处理的类别,默认采用http模式，可配置成tcp作4层消息转发 maxconn 4096 #限制单个进程的最大连接数 option httplog #http 日志格式 option dontlognull #不记录空连接 option forwardfor #如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip option httpclose #每次请求完毕后主动关闭http通道,haproxy不支持keep-alive,只能模拟这种模式的实现 option abortonclose #当服务器负载很高的时候，自动结束掉当前队列处理比较久的连接 option redispatch #在连接失败或断开的情况下，允许当前会话被重新分发 retries 3 #设置在一个服务器上链接失败后的重连次数 balance source #表示根据请求源IP，这个跟Nginx的IP_hash机制类似，我们用其作为解决session问题的一种方法。 timeout client 30s #设置客户端的最大超时时间(毫秒) timeout connect 5s #设置等待连接到服务器成功的最大时间 timeout server 30s #设置服务器端的最大超时时间 timeout check 5s #心跳检测时间 #前端代理 Redis frontend Redis bind *:6379 default_backend RedisServer #后端分发 Redis backend RedisServer mode tcp balance source server redis-233 10.10.51.233:6379 check inter 2000 fall 5 server redis-234 10.10.51.234:6379 check inter 2000 fall 5 server redis-235 10.10.51.235:6379 check inter 2000 fall 5 #前端代理 Web frontend WebSite bind 10.10.51.230:80 #这里建议使用bind *:80的方式，要不然做集群高可用的时候有问题，vip切换到其他机器就不能访问了。 acl WwwSite hdr(host) -i www.ccav.com #acl后面是规则名称，-i是要访问的域名，如果访问www.zhirs.com这个域名就分发到下面的webserver 的作用域。 acl ImgSite hdr(host) -i res.ccav.com #如果访问img.baison.com.cn就分发到imgserver这个作用域。 use_backend WwwSiteServer if WwwSite use_backend ImgSiteServer if ImgSite #后台分发 Web backend WwwSiteServer mode http balance source #banlance roundrobin 轮询，balance source 保存session值，支持static-rr，leastconn，first，uri等 option httpchk /index.html #检测文件，如果分发到后台index.html 访问不到就不再分发给它 server web01 10.10.51.241:80 check inter 2000 fall 3 weight 30 server web02 10.10.51.242:80 check inter 2000 fall 3 weight 20 backend ImgSiteServer mode http option httpchk /index.html balance roundrobin server web03 10.10.51.243:80 check inter 2000 fall 3 weight 10 # weight - 调节服务器的负重 # check - 允许对该服务器进行健康检查 # inter - 设置连续的两次健康检查之间的时间，单位为毫秒(ms)，默认值 2000(ms) # rise - 指定多少次连续成功的健康检查后，可认定该服务器处于可操作状态，默认值 2 # fall - 指定多少次不成功的健康检查后，认为服务器为当掉状态，默认值 3 # maxconn - 指定可被发送到该服务器的最大并发连接数 #状态检测 listen status 10.10.51.231:8080 #监控页面的端口 mode http stats enable stats refresh 10s #统计页面自动刷新时间 stats uri /haproxy-admin #监控页面的访问地址 stats realm Haproxy Statistics #统计页面密码框上提示文本 stats auth ccav:123456 #统计页面用户名和密码设置 stats hide-version #隐藏统计页面上HAProxy的版本信息
3、加上日志支持
[root@Centos-Server ~]# vim /etc/rsyslog.conf #在最下边增加 local3.* /var/log/haproxy.log local0.* /var/log/haproxy.log
[root@Centos-Server ~]# vim /etc/sysconfig/rsyslog 修改： SYSLOGD_OPTIONS="-r -m 0" [root@Centos-Server ~]# service rsyslog restart #重启日志服务
三、测试
1、启动Keepalived：
[root@Centos-Server ~]# /usr/local/keepalived/bin/keepalived -D -f /etc/keepalived/keepalived.conf #指定启动配置文件
正在启动 keepalived： [确定] #说明：Keepalived启动后会去检查HAproxy,若HAproxy未启动，则启动HAproxy,若启动HAproxy失败，则关闭Keepalived
2、启动Haproxy：
[root@Centos-Server ~]# /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfg #启动
[root@Centos-Server ~]# /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfg -st `cat /usr/local/haproxy/logs/haproxy.pid` #重启
[root@Centos-Server ~]# killall haproxy #停止
PS：haproxy启动故障：Starting proxy cluster: cannot bind socket
[root@Centos-Server ~]# /etc/sysctl.conf #修改内核参数 net.ipv4.ip_forward = 1 net.ipv4.ip_nonlocal_bind=1 #没有就新增此条记录 [root@Centos-Server ~]# sysctl -p #保存结果，使结果生效。
3、查看keepalived状况：
[root@alex]# service keepalived status keepalived (pid 5420) 正在运行...
4、查看HAproxy状况：
[root@alex]# ps -aux|grep haproxy Warning: bad syntax, perhaps a bogus '-'? See /usr/share/doc/procps-3.2.8/FAQ nobody 5430 0.0 0.0 11980 944 ? Ss 16:37 0:00 /usr/local/haproxy/sbin/haproxy –f /usr/local/haproxy/haproxy.conf nobody 5431 0.0 0.0 11980 944 ? Ss 16:37 0:00 /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.conf root 5618 0.0 0.0 103252 844 pts/2 S+ 16:38 0:00 grep haproxy
Keepalived启动后自动将HAproxy启动了。
5、查看Keepalived生成的VIP是否与主服务器绑定
[root@alex]# ip addr 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000 link/ether 08:00:27:42:71:2d brd ff:ff:ff:ff:ff:ff inet 10.10.51.231/24 brd 192.168.4.255 scope global eth5 inet 10.10.51.230/32 scope global eth5 inet6 fe80::a00:27ff:fe42:712d/64 scope link valid_lft forever preferred_lft forever
VIP绑定OK!
6、打开HAproxy的图形管理界面：
浏览器输入http://localhost:8080/haproxy-admin
用户名：ccav 密码：123456
这时候我们Kill掉HAproxy，Keepalived检查到后会重新将HAproxy启动。
[root@alex sysconfig]# killall haproxy
刷新页面，可以看到HAproxy的pid改变了。
7、这时我们将主服务器上的keepalived当掉，看VIP是否漂移到了从服务器上，从服务器接管服务。
A、主服务器上：
[root@Centos-Server ~]# killall keepalived [root@Centos-Server ~]# ip addr 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000 link/ether 08:00:27:42:71:2d brd ff:ff:ff:ff:ff:ff inet 10.10.51.231/24 brd 192.168.4.255 scope global eth5 inet6 fe80::a00:27ff:fe42:712d/64 scope link valid_lft forever preferred_lft forever
B、从服务器上：
[root@Centos-Server ~]# ip addr 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000 link/ether 08:00:27:be:47:90 brd ff:ff:ff:ff:ff:ff inet 10.10.51.232/24 brd 192.168.4.255 scope global eth6 inet 10.10.51.230/32 scope global eth6 inet6 fe80::a00:27ff:febe:4790/64 scope link valid_lft forever preferred_lft forever
VIP漂移OK!
8、这时候重启主服务器的Keepalived，查看VIP是否漂移回来。
[root@Centos-Server ~]# service keepalived start 正在启动 keepalived： [确定] [root@Centos-Server ~]# ip addr 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000 link/ether 08:00:27:42:71:2d brd ff:ff:ff:ff:ff:ff inet 10.10.51.231/24 brd 192.168.4.255 scope global eth5 inet 10.10.51.230/32 scope global eth5 inet6 fe80::a00:27ff:fe42:712d/64 scope link valid_lft forever preferred_lft forever
VIP漂移到主服务器！