在上篇安装的nginx的机器环境上将nginx停掉
/usr/local/nginx/sbin/nginx -s stop
在linux-node2上编译安装haproxy作为反向代理服务器 [root@linux-node1 ~]# cd /usr/local/src [root@linux-node1 src]# wget http://www.haproxy.org/download/1.6/src/haproxy-1.6.2.tar.gz [root@linux-node1 src]# tar zxf haproxy-1.6.2.tar.gz [root@linux-node1 src]# cd haproxy-1.6.2 [root@linux-node1 src]# make TARGET=linux2628 PREFIX=/usr/local/haproxy-1.6.2 [root@linux-node1 src]# make install [root@linux-node1 ~]# cp /usr/local/sbin/haproxy /usr/sbin/ [root@linux-node1 ~]# haproxy -v HA-Proxy version 1.6.2 2015/12/25 Copyright 2000-2015 Willy Tarreau <willy@haproxy.org>
编辑Haproxy启动脚本
cd /usr/local/src/haproxy-1.6.2/ cp examples/haproxy.init /etc/init.d/haproxy chmod 755 /etc/init.d/haproxy
针对配置文件的路径创建以下文件
useradd -r haproxy mkdir /etc/haproxy mkdir /var/lib/haproxy mkdir /var/run/haproxy
编辑haproxy配置文件，配置log，并启动
cd /etc/haproxy/ cat haproxy.cfg global #全局配置，在所有配置段中都生效 log 127.0.0.1 local3 info #记录日志，，info是日志级别 chroot /var/lib/haproxy user haproxy group haproxy daemon defaults #默认配置，可以被前端和后端继承 log global #使用global的log设置 mode http #使用http模式，也可以使用tcp模式 option httplog #启动http请求的log option dontlognull #在日志中不记录空连接（空连接：健康检查的链接） timeout connect 5000 #长连接超时时间 timeout client 50000 #客户端连接超时 timeout server 50000 #RS连接超时 frontend www_check-blog_com #前端配置 + 一个配置段的名字（最好不要乱写，和项目直接相关最佳） mode http #使用http模式，也可以使用tcp模式 bind *:80 #监听80端口 stats uri /haproxy?stats #状态页面dashboard default_backend www_check-blog_com_backend #对应的backend名称 backend www_check-blog_com_backend #对应的frontend的default_backend #source cookie SERVERID #算法，source相当于ip hash option httpchk GET /index.html #检测url balance roundrobin #使用rr负载均衡方式 server linux-node1 192.168.230.129:8080 check inter 2000 rise 3 fall 3 weight 5 server linux-node2 192.168.230.128:8080 check inter 2000 rise 3 fall 3 weight 1 #RS健康检测时间间隔2秒，重试三次，失败三次不可用，权重1
[root@linux-node2 haproxy]# vim /etc/rsyslog.conf • 15 $ModLoad imudp #打开注释 • 16 $UDPServerRun 514 #打开注释 • 74 local3.* /var/log/haproxy.log #local3的路径
[root@linux-node2 haproxy]# /etc/init.d/rsyslog restart Shutting down system logger: [ OK ] Starting system logger: [ OK ] [root@linux-node2 haproxy]# /etc/init.d/haproxy start Starting haproxy: [ OK ]
浏览器访问
更改配置文件的检查url，对url检查页面进行测试
[root@linux-node2 haproxy]# sed -i 's/index.html/chuck-blog.html/g' haproxy.cfg [root@linux-node2 haproxy]# /etc/init.d/haproxy restart Shutting down haproxy: [ OK ] Starting haproxy: [ OK ]
下面是检测url和uri的几种方式
option httpchk option httpchk <uri> option httpchk <method> <uri> option httpchk <method> <uri> <version>
将页面改回来
[root@linux-node2 haproxy]# sed -i 's/chuck-blog.html/index.html/g' haproxy.cfg [root@linux-node2 haproxy]# /etc/init.d/haproxy restart Shutting down haproxy: [ OK ] Starting haproxy: [ OK ]
更改配置文件获取客户端的真实ip
在banckend配置段加入一个option
option forwardfor header X-REAL-IP #X-REAL-IP是自定义的一个名称
通过acl设置虚拟主机
一个前端可以对应多个后端，而实际生产环境建议一个frontend对应一个backend，并重载（生产不建议restart，restart会断开现有链接）
global log 127.0.0.1 local3 info chroot /var/lib/haproxy user haproxy group haproxy daemon defaults log global mode http option httplog option dontlognull timeout connect 5000 timeout client 50000 timeout server 50000 frontend check.blog.com mode http bind *:80 stats uri /haproxy?stats default_backend check-blog #默认的backend acl web-blog hdr_end(host) -i other.heck-blog.com #web-blog：给此acl起一个名字；hdr_end(host)：固定格式，用来识别host，-i是不区分大小写、后面跟的是域名，如果没有匹配到acl，即访问default的bankcend， use_backend web-blog-1 if web-blog #use_backend：关键词，使用哪个banckend；web-blog-1：指定哪个backend的名称 if web-blog：用来判断acl，if 后面的名称是acl名称 #如果acl中有这个is_other_check-blog_com名称，那就使用这个other_check-blog_com_backend backend check-blog #source cookie SERVERID option forwardfor header X-REAL-IP option httpchk GET /index.html balance roundrobin server linux-node1 192.168.230.128:8080 check inter 2000 rise 3 fall 3 weight 1 backend web-blog-1#source cookie SERVERID option forwardfor header X-REAL-IP option httpchk GET /index.html balance roundrobin server linux-node2 192.168.230.129:8080 check inter 2000 rise 3 fall 3 weight 1
[root@linux-node1 haproxy]# /etc/init.d/haproxy restart Shutting down haproxy: [ OK ] Starting haproxy: [ OK ]
本地hosts解析
192.168.230.128 www.check-blog.com other.check-blog.com
在fortend添加acl，根据静态文件，设置不同的backend（类似于location），注释的两行和前两行意义相同，分别是通过url正则匹配和url的后缀匹配
acl is_static_reg url_reg /*.(css|jpg|png|js|jpeg|gif)$ use_backend other_chuck-blog_com_backend if is_static_reg
第二种
#acl is_static_path path_end .gif .png .css .jpg .jpeg #use_backend other_chuck-blog_com_backend if is_static_path
其他形式的acl，正则或者UA（可以理解为nginx的location）,更多形式的acl，请浏览文档
https://www.haproxy.org/download/1.6/doc/configuration.txt
acl is_do_path url_reg /chuck.do use_backend other_chuck-blog_com_backend if is_do_path acl is_UA_path hdr_reg(User-Agent) -i andriod use_backend other_chuck-blog_com_backend if is_UA_path
haproxy的动态维护
在配置文件添加socket
[root@linux-node1 ~]# head -8 /etc/haproxy/haproxy.cfg global log 127.0.0.1 local3 info chroot /var/lib/haproxy user haproxy group haproxy daemon stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin #指定socket文件路径，权限，管理级别 stats timeout 2m #指定超时时间
安装socat [root@linux-node1 ~]yum install -y socat 使用help查看socat的事情 [root@linux-node1 ~]# echo "help" |socat stdio /var/lib/haproxy/haproxy.sock Unknown command. Please enter one of the following commands only : clear counters : clear max statistics counters (add 'all' for all counters) clear table : remove an entry from a table help : this message prompt : toggle interactive mode with prompt quit : disconnect show backend : list backends in the current running config show info : report information about the running process #查看所有信息 show pools : report information about the memory pools usage #查看所有poll show stat : report counters for each proxy and server #显示状态 show errors : report last request and response errors for each proxy show sess [id] : report the list of current sessions or dump this session show table [id]: report table usage stats or dump this table's contents show servers state [id]: dump volatile server information (for backend <id>) get weight : report a server's current weight #获得权重信息 set weight : change a server's weight #设置权重 set server : change a server's state, weight or address #改变一个server的转态权重或地址 set table [id] : update or create a table entry's data set timeout : change a timeout setting set maxconn : change a maxconn sett ing set rate-limit : change a rate limiting value disable : put a server or frontend in maintenance mode #将一个server或者fortend置于维护模式 enable : re-enable a server or frontend which is in maintenance mode #启用一个维护状态的server或者frontend shutdown : kill a session or a frontend (eg:to release listening ports) show acl [id] : report avalaible acls or dump an acl's contents get acl : reports the patterns matching a sample for an ACL #获取acl add acl : add acl entry #加一个acl del acl : delete acl entry #删一个acl clear acl <id> : clear the content of this acl show map [id] : report avalaible maps or dump a map's contents get map : reports the keys and values matching a sample for a map set map : modify map entry add map : add map entry del map : delete map entry clear map <id> : clear the content of this map set ssl <stmt> : set statement for ssl 查看info信息，内容值可以利用来监控 [root@linux-node1 haproxy]# echo "show info" |socat stdio /var/lib/haproxy/haproxy.sock Name: HAProxy Version: 1.6.2 Release_date: 2015/11/03 Nbproc: 1 Process_num: 1 Pid: 14841 Uptime: 0d 0h03m44s Uptime_sec: 224 Memmax_MB: 0 Ulimit-n: 4033 Maxsock: 4033 Maxconn: 2000 Hard_maxconn: 2000 CurrConns: 0 CumConns: 2 CumReq: 2 Maxpipes: 0 PipesUsed: 0 PipesFree: 0 ConnRate: 0 ConnRateLimit: 0 MaxConnRate: 0 SessRate: 0 SessRateLimit: 0 MaxSessRate: 0 CompressBpsIn: 0 CompressBpsOut: 0 CompressBpsRateLim: 0 Tasks: 8 Run_queue: 1 Idle_pct: 100 node: linux-node1.example.com description:
关闭linux-node2主机
echo "disable server other_check-blog_com_backend/linux-node2" |socat stdio /var/lib/haproxy/haproxy.sock
可以看到linux-node2进入了维护（maintain）状态
打开linux-node2主机(只对现有的server生效，不能用来新增节点)
echo "enable server other_check-blog_com_backend/linux-node2" |socat stdio /var/lib/haproxy/haproxy.sock
可以看到linux-node2恢复正常
生产环境遇到的问题
haproxy的本地端口可能用尽，解决方案如下4条
1）更改local的端口范围,调整内核参数
[root@linux-node1 ~]# cat /proc/sys/net/ipv4/ip_local_port_range 32768 61000
2）调整timewait的端口复用，设置为1
[root@linux-node1 ~]# cat /proc/sys/net/ipv4/tcp_tw_reuse 0
3)缩短tcp_wait的时间，并不建议修改
[root@linux-node1 ~]# cat /proc/sys/net/ipv4/tcp_fin_timeout 60
4)终极方案：增加为多个ip，自然端口数就够了
haproxy对比nginx
nginx
优点
1.web服务器，应用比较广泛
2.7层负载均衡，location设置复杂的基于HTTP的负载均衡
3.性能强大，网络依赖小
4.安装配置简单
缺点
1.健康检查单一
2.负载均衡算法少
3.不能动态管理
4.没有集群upstream的状态页面
haproxy
优点
1.专门做负载均衡
2.负载均衡算法多
3.性能>=nginx
4.通过和socket通信进行动态管理
5.有比较丰富的dashboard页面
6.强大的7层代理
缺点
1.配置没有nginx简单
2.应用没有nginx广泛