作者：Grey
环境
- VMware 16
- CentOS8
相关软件
- keepalived
- ipvsadm
- httpd
准备工作
准备四个节点，如上图，Node01 ~ Node04, 本文默认你会在VMWare上安装Linux并配置相关信息，如果这块内容不清楚，可以参考Linux安装，快照，克隆（基于CentOS 8）
实验效果
我们会在Node01和Node02上配置LVS，且Node01和Node02是主备关系，Node01是主，Node02是备，Node01挂了，Node02可以自动顶上。Node01和Node02是接收请求的入口，接下来，会将请求以负载均衡的方式请求后端的Node04和Node05服务。
示例图
操作步骤
准备Node03和Node04的服务
在Node03和Node04上分别执行如下命令：
yum install -y httpd
安装好httpd以后，在Node03上的如下位置
/var/www/html
新建一个名为index.html页面，并且在index.html中输入如下内容：
<h>from node03</h>
在Node04同样的位置，也建立一个index.html文件，且文件内容为：
<h>from node04</h>
可以通过如下方式快速将Node03的index.html复制到Node04, 在Node03的
var/www/html
目录下，执行
scp index.html root@192.168.98.139:`pwd`
其中
root@192.168.98.139
是对应你的node03的信息，然后就可以把node03的index.html复制到node04的对应位置了。
然后改一下Node04的index.html信息即可。
准备好index.html页面后，因为httpd服务的默认端口是80，所以我们需要打开Node03和Node04上的80端口的访问权限，在Node03和Node04上分别执行如下的两条命令：
firewall-cmd --permanent --add-port=80/tcp
firewall-cmd --reload
我们可以启动Node04和Node03上的httpd服务，在Node03和Node04上分别执行：
systemctl start httpd
验证是否启动成功
配置Node03和Node04内核参数
arp_ignore和arp_announce两个内核参数的配置说明如下：
arp_ignore
定义接收到ARP请求时的响应级别
- 0：只要本地配置的有相应地址，就给予响应；
- 1：仅在请求的目标(MAC)地址配置请求到达的接口上的时候，才给予响应；
arp_announce
定义将自己地址向外通告时的通告级别
- 0：将本地任何接口上的任何地址向外通告；
- 1：试图仅向目标网络通告与其网络匹配的地址；
- 2：仅向与本地接口上地址匹配的网络进行通告；
由于，Node03和Node04上要实现对IP的对外隐藏和对内可见，所以我们需要在Node03和Node04上配置如下参数：
echo 1 > /proc/sys/net/ipv4/conf/ens33/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/ens33/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
PS：CentOS8的默认网卡名称是 ens33
可以通过ifconfig命令查看到
配置Node03和Node04的环路接口
要实现IP的对内可见，对外隐藏，还需要在Node03和Node04上配置环路接口, 在Node04和Node03上分别执行
ifconfig lo:3 192.168.98.100 netmask 255.255.255.255
然后在Node03和Node04分别执行
ifconfig
查看是否添加成功
自此，Node03和Node04上的所有东西都配置好了。
接下来开始配置Node01和Node02。
安装ipvsadm
在Node01和Node02上执行如下命令
yum install -y ipvsadm
安装keepalived
在CentOS8下，我尝试用yum安装keepalived，配置完毕后，启动了keepalived，但是客户端始终无法请求过来。
无奈，尝试编译安装keepalived，问题解决。
步骤如下，在Node01和Node02上分别执行, 安装一些前置工具
yum install curl gcc openssl-devel libnl3-devel net-snmp-devel make tar ipvsadm -y
然后下载最新的keepalived源码
curl --progress https://www.keepalived.org/software/keepalived-2.2.2.tar.gz | tar xz
cd keepalived-2.2.2
./configure --prefix=/usr/local/keepalived-2.2.2
make
make install
修改keepalived配置
在Node01上，先备份默认的keepalived配置，执行如下命令
cd /usr/local/keepalived-2.2.2/etc/keepalived
cp keepalived.conf keepalived.conf.bak
然后开始编辑keepalived.conf文件, 将其配置成如下信息
Node01上：
! Configuration File for keepalived
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_instance VI_1 {
state MASTER
interface ens33
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.98.100/24 dev ens33 label ens33:3
}
}
virtual_server 192.168.98.100 80 {
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 0
protocol TCP
real_server 192.168.98.138 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
retry 3
delay_before_retry 3
}
}
real_server 192.168.98.139 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
retry 3
delay_before_retry 3
}
}
}
Node02上
! Configuration File for keepalived
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_instance VI_1 {
state BACKUP
interface ens33
virtual_router_id 51
priority 50
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.98.100/24 dev ens33 label ens33:3
}
}
virtual_server 192.168.98.100 80 {
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 0
protocol TCP
real_server 192.168.98.138 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
retry 3
delay_before_retry 3
}
}
real_server 192.168.98.139 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
retry 3
delay_before_retry 3
}
}
}
指定keepalived配置文件，在Node01和Node02上分别执行：
cd /usr/local/keepalived-2.2.2/etc/sysconfig
修改keepalived文件
# Options for keepalived. See `keepalived --help' output and keepalived(8) and
# keepalived.conf(5) man pages for a list of all options. Here are the most
# common ones :
#
# --vrrp -P Only run with VRRP subsystem.
# --check -C Only run with Health-checker subsystem.
# --dont-release-vrrp -V Dont remove VRRP VIPs & VROUTEs on daemon stop.
# --dont-release-ipvs -I Dont remove IPVS topology on daemon stop.
# --dump-conf -d Dump the configuration data.
# --log-detail -D Detailed log messages.
# --log-facility -S 0-7 Set local syslog facility (default=LOG_DAEMON)
#
KEEPALIVED_OPTIONS="-D -f /usr/local/keepalived-2.2.2/etc/keepalived/keepalived.conf"
在KEEPALIVED_OPTIONS中增加了-f选项，指定了keepalived.conf的位置
然后打开Node01和Node02的80端口访问权限，分别在Node01和Node02上执行如下命令
firewall-cmd --permanent --add-port=80/tcp
firewall-cmd --reload
启动keepalived
在Node01上执行
systemctl start keepalived
验证：通过浏览器访问：http://192.168.98.100
并且时不时刷新以下页面，可以显示如下结果：
在Node01上执行
ipvsadm -lnc
可以看到
在Node02上执行
systemctl start keepalived
然后在Node02上执行
ipvsadm -lnc
内容是空的，说明Node02是备用节点
此时，我们停掉Node01，在Node01上，执行
systemctl stop keepalived
继续访问浏览器，服务依旧可以访问
验证了主节点（Node01）挂了，备用节点（Node02）顶上这个情况
此时，在Node02上执行
ipvsadm -lnc
可以看到连接情况
说明备机正常提供了服务。
此时，再把主节点（Node01）启动起来，在Node01上执行：
systemctl restart keepalived
服务正常
在主节点（Node01）上执行
ipvsadm -lnc
显示出了连接
说明主节点已经恢复正常。