• linux-bonding——


    linux多网卡绑定聚合-Bond详细完整版

    Linux Bonding

     

    一、什么是bonding

    Linux bonding 驱动提供了一个把多个网络接口设备捆绑为单个的网络接口设置来使用,用于网络负载均衡及网络冗余


    二、bonding应用方向

    1、网络负载均衡

    对 于bonding的网络负载均衡是我们在文件服务器中常用到的,比如把三块网卡,当做一块来用,解决一个IP地址,流量过大,服务器网络压力过大的问题。 对于文件服务器来说,比如NFS或SAMBA文件服务器,没有任何一个管理员会把内部网的文件服务器的IP地址弄很多个来解决网络负载的问题。如果在内网 中,文件服务器为了管理和应用上的方便,大多是用同一个IP地址。对于一个百M的本地网络来说,文件服务器在多 个用户同时使用的情况下,网络压力是极大的,特别是SAMABA和NFS服务器。为了解决同一个IP地址,突破流量的限制,毕竟网线和网卡对数据的吞吐量 是有限制的。如果在有限的资源的情况下,实现网络负载均衡,最好的办法就是 bonding 

    2、网络冗余

    对于服务器来说,网络设备的稳定也是比较重要的,特别是网卡。在生产型的系统中,网卡的可靠性就更为重要了。在生产型的系统中,大多通过硬件设备的冗余来提供服务器的可靠性和安全性,比如电源。bonding 也能为网卡提供冗余的支持。把多块网卡绑定到一个IP地址,当一块网卡发生物理性损坏的情况下,另一块网卡自动启用,并提供正常的服务,即:默认情况下只有一块网卡工作,其它网卡做备份


    三、bonding实验环境及配置

    1、实验环境

    系统为:CentOS,使用4块网卡(eth0、eth1  ==>  bond0;eth2、eth3 ==> bond1)来实现bonding技术

    2、bonding配置

    第一步:先查看一下内核是否已经支持bonding

    1)如果内核已经把bonding编译进内核,那么要做的就是加载该模块到当前内核;其次查看ifenslave该工具是否也已经编译
    modprobe  -l   bond*  或者 modinfo   bonding
    modprobe   bonding
    lsmod | grep 'bonding'
    echo  'modprobe bonding &> /dev/null'  >>  /etc/rc.local(开机自动加载bonding模块到内核)
    which  ifenslave
    注意:默认内核安装完后就已经支持bonding模块了,无需要自己手动编译

    2)如果bonding还没有编译进内核,那么要做的就是编译该模块到内核
    (1)编译bonding
    tar -jxvf  kernel-XXX.tar.gz
    cd  kernel-XXX
    make  menuconfig
    选择 " Network device support "  ->  " Bonding driver support "
    make bzImage
    make modules  &&  make modules_install
    make install
    (2)编译ifenslave工具
    gcc -Wall -O -I   kernel-XXX/include ifenslave.c -o ifenslave

    第二步:主要有两种可选择(第1种:实现网络负载均衡,第2种:实现网络冗余)

    例1:实现网络冗余(即:mod=1方式,使用eth0与eth1)

    (1)编辑虚拟网络接口配置文件(bond0),并指定网卡IP
    vi   /etc/sysconfig/network-scripts/ifcfg-bond0
    DEVICE=bond0
    ONBOOT=yes
    BOOTPROTO=static
    IPADDR=192.168.0.254
    BROADCAST=192.168.0.255
    NETMASK=255.255.255.0
    NETWORK=192.168.0.0
    GATEWAY=192.168.0.1
    USERCTL=no
    TYPE=Ethernet
    注意:建议不要指定MAC地址

    vi   /etc/sysconfig/network-scripts/ifcfg-eth0
    DEVICE=eth0
    BOOTPROTO=none
    ONBOOT=yes
    USERCTL=no
    MASTER=bond0
    SLAVE=yes
    注意:建议不要指定MAC地址

    vi   /etc/sysconfig/network-scripts/ifcfg-eth1
    DEVICE=eth1
    BOOTPROTO=none
    ONBOOT=yes
    USERCTL=no
    MASTER=bond0
    SLAVE=yes
    注意:建议不要指定MAC地址

    (2)编辑模块载入配置文件(/etc/modprobe.conf),开机自动加载bonding模块到内核
    vi   /etc/modprobe.conf

    alias  bond0  bonding  
    options  bond0  miimon=100  mode=1

    alias  net-pf-10  off   #关闭ipv6支持
    说明:miimon是用来进行链路监测的。 比如:miimon=100,那么系统每100ms监测一次链路连接状态,如果有一条线路不通就转入另一条线路;mode的值表示工作模式,他共有0,1,2,3,4,5,6六种模式,常用为0,6,1三种,具体后面会介绍 
    mode=0,表示load balancing (round-robin)为负载均衡方式,两块网卡都工作,但是与网卡相连的交换必须做特殊配置( 这两个端口应该采取聚合方式),因为做bonding的这两块网卡是使用同一个MAC地址
    mode=6,表示load balancing (round-robin)为负载均衡方式,两块网卡都工作,但是该模式下无需配置交换机,因为做bonding的这两块网卡是使用不同的MAC地址
    mode=1,表示fault-tolerance (active-backup)提供冗余功能,工作方式是主备的工作方式,也就是说默认情况下只有一块网卡工作,另一块做备份 
    注意:bonding只能提供链路监测,即从主机到交换机的链路是否接通。如果只是交换机对外的链路down掉了,而交换机本身并没有故障,那么bonding会认为链路没有问题而继续使用

    (4)重启并测试
    第一:由于bonding使用的模式为mod=1(网络冗余),所以eth0、eth1与虚拟的bond0同一个MAC地址


    注意:对比上面这两个图,可知mode=1模式下,eth0与eth1这两块网卡,只有一块网卡在工作(即:eth0),因为eth1网卡的RX与TX都没有在发生变化

    第二:测试,用ping指令ping虚拟网卡设备bond0的IP地址(192.168.0.254),然后禁用eth0设备看一下能够继续ping的通

    说明:如上图可得到,断开eth0(上图的右下角),还是可以ping的通的


    例2:实现网络负载均衡和网络冗余(即:mod=0方式,使用eth0与eth1)
    注意:VM中只能做mode=1的实验,其它的工作模式得用真机来实践

    跟例1的步骤一样,只需要修改模块载入配置文件(/etc/modprobe.conf),如下:

    alias  bond0  bonding  
    options  bond0  miimon=100  mode=0


    (1)测试如下
    ##目前两块网卡都处于连接状态
    root@Web:~# ifconfig | grep 'eth' | awk '{print $1}'
    eth0
    eth1
    ##禁用了网卡eth0,用ping指令测试


    反之,也是一样的!

    例3:实现网络负载均衡和网络冗余(即:mod=6方式,使用eth0与eth1,其中eth0设置为primay)

    跟例1的步骤一样,只需要修改模块载入配置文件(/etc/modprobe.conf),如下:
    alias  bond0  bonding  
    options  bond0  miimon=100  mode=6


    上图可知:mode=6时,eth0与eth1所使用的MAC是不一样的

    (1)测试如下
    ##目前两块网卡都处于连接状态
    root@Web:~# ifconfig | grep 'eth' | awk '{print $1}'
    eth0
    eth1
    ##禁用了网卡eth0,用ping指令测试



    四、bonding运用的注意事项

    1、bonding的模式:0-6,即:7种模式

    第一种模式:mod=0 ,即:(balance-rr) Round-robin policy(平衡抡循环策略)
    特点:传输数据包顺序是依次传输(即:第1个包走eth0,下一个包就走eth1....一直循环下去,直到最后一个传输完毕), 此模式提供负载平衡和容错能力;但是我们知道如果一个连接或者会话的数据包从不同的接口发出的话,中途再经过不同的链路,在客户端很有可能会出现数据包无序到达的问题,而无序到达的数据包需要重新要求被发送,这样网络的吞吐量就会下降

    第二种模式:mod=1,即: (active-backup) Active-backup policy(主-备份策略)
    特点:只有一个设备处于活动状态,当 一个宕掉另一个马上由备份转换为主设备。mac地址是外部可见得,从外面看来,bond的MAC地址是唯一的,以避免switch(交换机)发生混乱。此模式只提供了容错能力;由此可见此算法的优点是可以提供高网络连接的可用性,但是它的资源利用率较低,只有一个接口处于工作状态,在有 N 个网络接口的情况下,资源利用率为1/N

    第三种模式:mod=2,即:(balance-xor) XOR policy(平衡策略)
    特点:基于指定的传输HASH策略传输数据包。缺省的策略是:(源MAC地址 XOR 目标MAC地址) % slave数量。其他的传输策略可以通过xmit_hash_policy选项指定,此模式提供负载平衡和容错能力

    第四种模式:mod=3,即:broadcast(广播策略)
    特点:在每个slave接口上传输每个数据包,此模式提供了容错能力

    第五种模式:mod=4,即:(802.3ad) IEEE 802.3ad Dynamic link aggregation(IEEE 802.3ad 动态链接聚合)
    特点:创建一个聚合组,它们共享同样的速率和双工设定。根据802.3ad规范将多个slave工作在同一个激活的聚合体下。
    外 出流量的slave选举是基于传输hash策略,该策略可以通过xmit_hash_policy选项从缺省的XOR策略改变到其他策略。需要注意的是, 并不是所有的传输策略都是802.3ad适应的,尤其考虑到在802.3ad标准43.2.4章节提及的包乱序问题。不同的实现可能会有不同的适应性。
    必要条件:
    条件1:ethtool支持获取每个slave的速率和双工设定
    条件2:switch(交换机)支持IEEE 802.3ad Dynamic link aggregation
    条件3:大多数switch(交换机)需要经过特定配置才能支持802.3ad模式

    第六种模式:mod=5,即:(balance-tlb) Adaptive transmit load balancing(适配器传输负载均衡)
    特点:不需要任何特别的switch(交换机)支持的通道bonding。在每个slave上根据当前的负载(根据速度计算)分配外出流量。如果正在接受数据的slave出故障了,另一个slave接管失败的slave的MAC地址。
    该模式的必要条件:ethtool支持获取每个slave的速率

    第七种模式:mod=6,即:(balance-alb) Adaptive load balancing(适配器适应性负载均衡)
    特点:该模式包含了balance-tlb模式,同时加上针对IPV4流量的接收负载均衡(receive load balance, rlb),而且不需要任何switch(交换机)的支持。接收负载均衡是通过ARP协商实现的。bonding驱动截获本机发送的ARP应答,并把源硬件地址改写为bond中某个slave的唯一硬件地址,从而使得不同的对端使用不同的硬件地址进行通信。
    来 自服务器端的接收流量也会被均衡。当本机发送ARP请求时,bonding驱动把对端的IP信息从ARP包中复制并保存下来。当ARP应答从对端到达 时,bonding驱动把它的硬件地址提取出来,并发起一个ARP应答给bond中的某个slave。使用ARP协商进行负载均衡的一个问题是:每次广播 ARP请求时都会使用bond的硬件地址,因此对端学习到这个硬件地址后,接收流量将会全部刘翔当前的slave。这个问题通过给所有的对端发送更新 (ARP应答)来解决,应答中包含他们独一无二的硬件地址,从而导致流量重新分布。当新的slave加入到bond中时,或者某个未激活的slave重新 激活时,接收流量也要重新分布。接收的负载被顺序地分布(round robin)在bond中最高速的slave上
    当某个链路被重新接上,或者 一个新的slave加入到bond中,接收流量在所有当前激活的slave中全部重新分配,通过使用指定的MAC地址给每个 client发起ARP应答。下面介绍的updelay参数必须被设置为某个大于等于switch(交换机)转发延时的值,从而保证发往对端的ARP应答 不会被switch(交换机)阻截。
    必要条件:
    条件1:ethtool支持获取每个slave的速率;
    条件2:底层驱动支持设置 某个设备的硬件地址,从而使得总是有个slave(curr_active_slave)使用bond的硬件地址,同时保证每个bond 中的slave都有一个唯一的硬件地址。如果curr_active_slave出故障,它的硬件地址将会被新选出来的 curr_active_slave接管
    其实mod=6与mod=0的区别:mod=6,先把eth0流量占满,再占eth1,....ethX;而mod=0的话,会发现2个口的流量都很稳定,基本一样的带宽。而mod=6,会发现第一个口流量很高,第2个口只占了小部分流量


    2、bonding驱动选项

    Bonding驱动的选项是通过在加载时指定参数来设定的。可以通过insmod或modprobe命令的命令行参数来指定,但通常在/etc/modprobe.conf配置文件中指定,或其他的配置文件中

    下 面列出可用的bonding驱动参数。如果参数没有指定,驱动会使用缺省参数。刚开始配置bond的时候,建议在一个终端窗口中运行"tail -f /var/log/messages"来观察bonding驱动的错误信息【译注:/var/log/messages一般会打印内核中的调试信息】
    有些参数必须要正确的设定,比如miimon、arp_interval和arp_ip_target,否则在链接故障时会导致严重的网络性能退化。很少的设备不支持miimon,因此没有任何理由不使用它们。
    有些选项不仅支持文本值的设定,出于兼容性的考虑,也支持数值的设定,比如,"mode=802.3ad"和"mode=4"效果是一样的

    具体的参数列表:
    1)primay
    指 定哪个slave成为主设备(primary device),取值为字符串,如eth0,eth1等。只要指定的设备可用,它将一直是激活的slave。只有在主设备(primary device)断线时才会切换设备。这在希望某个slave设备优先使用的情形下很有用,比如,某个slave设备有更高的吞吐率
    注意:  primary选项只对active-backup模式有效

    2)updelay
    指定当发现一个链路恢复时,在激活该链路之前的等待时间,以毫秒计算。该选项只对miimon链路侦听有效。updelay应该是miimon值的整数倍,如果不是,它将会被向下取整到最近的整数。缺省值为0

    3)arp_interval
    指 定ARP链路监控频率,单位是毫秒(ms)。如果APR监控工作于以太兼容模式(模式0和模式2)下,需要把switch(交换机)配置为在所有链路上均 匀的分发网络包。如果switch(交换机)被配置为以XOR方式分发网络包,所有来自ARP目标的应答将会被同一个链路上的其他设备收到,这将会导致其 他设备的失败。ARP监控不应该和miimon同时使用。设定为0将禁止ARP监控。缺省值为0

    4)arp_ip_target
    指 定一组IP地址用于ARP监控的目标,它只在arp_interval > 0时有效。这些IP地址是ARP请求发送的目标,用于判定到目标地址的链路是否工作正常。该设定值为ddd.ddd.ddd.ddd格式。多个IP地址通 过逗号分隔。至少指定一个IP地址。最多可以指定16个IP地址。缺省值是没有IP地址

    5)downdelay
    指定一个时间,用于在发现链路故障后,等待一段时间然后禁止一个slave,单位是毫秒(ms)。该选项只对miimon监控有效。downdelay值应该是miimon值的整数倍,否则它将会被取整到最接近的整数倍。缺省值为0

    6)lacp_rate
    指定在802.3ad模式下,我们希望的链接对端传输LACPDU包的速率。可能的选项:
    (1)slow 或者 0
    请求对端每30s传输LACPDU
    (2)fast 或者 1
    请求对端每1s传输LACPDU
    (3)缺省值是slow

    7)max_bonds
    为bonding驱动指定创建bonding设备的数量。比如:如果max_bonds为3,而且bonding驱动还没有加载,那么bond0,bond1,bond2将会被创建。缺省值为1

    6)miimon
    指定MII链路监控频率,单位是毫秒(ms)。这将决定驱动检查每个slave链路状态频率
    0表示禁止MII链路监控。100可以作为一个很好的初始参考值。下面的use_carrier选项将会影响如果检测链路状态。更多的信息可以参考“高可靠性”章节。缺省值为0

    8)mode
    指定bonding的策略。缺省是balance-rr (round robin,循环赛)。可选的mode包括:0,1,2,3,4,5,6

    3、bonding链路监测方法

    官方文档里说有两种针对链路的监测方法(注意:这两种监测不能同时使用)

    第一种:miimon(这种方法是最常见的,此方法使用系统的mii-tool命令进行监测)

    模块加载设置(/etc/modprobe.conf):
    # Start of bonding configure
    alias bond0 bonding
    options  bond0 miimon=100 mode=1
    注意:使用cat /proc/net/bonding/bond0,可查看Bonding Mode: load balancing (round-robin)状态
    options  bond0 miimon=100 mode=0
    注意:使用cat /proc/net/bonding/bond0,可查看Bonding Mode: load balancing ((active-backup))状态                        

    root@Web:~# mii-tool
    eth0: negotiated 100baseTx-HD, link ok
    eth1: negotiated 100baseTx-HD, link ok

    缺 点:这种方法,只能监测交换机与该网卡之间的链路;如果它们之外的链路的地方断了,而交换机本身没有问题,也就是说你的网卡和交换机之间还是UP状态,它 是不会认为网络中断,除非你的网卡是DOWN状态,它才会把链路转到另一块网卡上,就像是拔掉网线一样,或者把交换机端口shutdown一样

    第二种:arp(这种方法比较实用,你可以把它看作是arp的ping(二层ping),但是可能会给网关造成一定的压力)

    模块加载:
    alias bond0 bonding
    options  bond0  arp_interval=100  arp_ip_target=192.168.1.1  mode=active-backup   primary=eth0
    解析如下:
    arp_interval=100,表示arp的检测时间,等同于miimon=100的作用
    arp_ip_target=192.168.1.1,表示arp检测的目标IP,必须是同网段的,最好就是网关
    注意:如果使用arp来ping网关不通,那么在/proc/net/bonding/bond0里会一会down,一会up的

    优点:使用arp这种方法,如果交换机的上出现问题,网络不通,它就会把链转到另一块网卡上,但是不管是哪种方法,在第一块网卡出现问题,链路转到第二块后,如果第一块恢复正常,链路自己不会恢复的


    五、bonding参考资料

    1、linux系统中有一份原文帮助文件(很详细):/usr/share/doc/iputils-20020927/README.bonding
    2、http://www.itqun.net/content-detail/86623_2.html
    3、redhat linux内核升级补丁下载
    http://people.redhat.com/jwilson/el5---内核升级补丁(这里可以得到免费的升级包)
    http://people.redhat.com/jwilson/el5/198.el5/i686/kernel-2.6.18-198.el5.i686.rpm
    http://people.redhat.com/jwilson/el5/198.el5/i686/kernel-devel-2.6.18-198.el5.i686.rpm
    http://people.redhat.com/jwilson/el5/198.el5/i686/kernel-2.6.18-i686.config
    http://rhn.redhat.com/errata---内核补丁(注意:得使用Red Hat Network来下载这些update包)
    http://rhn.redhat.com/errata/RHSA-2010-0178.html

     

    【Linux】Linux双网卡绑定实现

    Linux双网卡绑定实现就是使用两块网卡虚拟成为一块网卡,这个聚合起来的设备看起来是一个单独的以太网接口设备,通俗点讲就是两块网卡具有相同的IP地址而并行链接聚合成一个逻辑链路工作。
       在正常情况下,网卡只接收目的硬件地址(MAC Address)是自身Mac的以太网帧,对于别的数据帧都滤掉,以减轻驱动程序的负担。但是网卡也支持另外一种被称为混杂promisc的模式,可以接收网络上所有的帧,比如说tcpdump,就是运行在这个模式下。bonding也运行在这个模式下,而且修改了驱动程序中的mac地址,将两块网卡的Mac地址改成相同,可以接收特定mac的数据帧。然后把相应的数据帧传送给bond驱动程序处理
    测试环境版本:
    CentOS release 5.3 (Final) X86_64
    2.6.18-128.el5
    具体的配置步骤如下:
    1 新建/etc/sysconfig/network-scripts/ifcfg-bond0
    [root@rac4 network-scripts]# cat ifcfg-bond0      
    # Intel Corporation 82545EM Gigabit Ethernet Controller (Copper)
    DEVICE=bond0
    BOOTPROTO=static
    IPADDR=10.250.7.220
    NETMASK=255.255.255.0
    BROADCAST=10.250.7.255
    ONBOOT=yes
    TYPE=Ethernet
    GATEWAY=10.250.7.254
    USERCTL=no
    2 更改需要bond的网卡的属性:
    [root@rac4 network-scripts]# cat ifcfg-eth0       
    # Intel Corporation 82545EM Gigabit Ethernet Controller (Copper)
    DEVICE=eth0
    BOOTPROTO=none
    ONBOOT=yes
    USERCTL=no
    MASTER=bond0
    SLAVE=yes
    [root@rac4 network-scripts]# cat ifcfg-eth1
    # Intel Corporation 82545EM Gigabit Ethernet Controller (Copper)
    DEVICE=eth1
    BOOTPROTO=none
    ONBOOT=yes
    USERCTL=no
    MASTER=bond0
    SLAVE=yes
    3 编辑/etc/modprobe.conf文件,加入以下红色标记的内容      
    [root@rac4 network-scripts]# vi /etc/modprobe.conf
    alias scsi_hostadapter mptbase
    alias scsi_hostadapter1 mptspi
    alias scsi_hostadapter2 ata_piix
    alias eth0 e1000
    alias eth1 e1000
    alias bond0 bonding
    options bond0 miimon=100 mode=1
    说明:
    miimon是用来进行链路监测的,比如:miimon=100,那么系统每100ms监测一次链路连接状态,如果有一条线路不通就转入另一条线路;mode的值表示工作模式,他共有0,1,2,3四种模式,常用的为0,1两种。 
    mode=0表示load balancing  (round-robin)为负载均衡方式,两块网卡都工作。 
    mode=1表示fault-tolerance (active-backup)提供冗余功能,工作方式是主备的工作方式,也就是说默认情况下只有一块网卡工作,另一块做备份.
    4 加入/etc/rc.d/rc.local启动项 红色标记内容 
    [root@rac4 network-scripts]# vi /etc/rc.d/rc.local 
    #!/bin/sh
    # This script. will be executed *after* all the other init scripts.
    # You can put your own initialization stuff in here if you don't
    # want to do the full Sys V style. init stuff.
    touch /var/lock/subsys/local
    ifenslave bond0 eth0 eth1
    5 启动bond0
    [root@rac4 network-scripts]# ifconfig  bond0 10.250.7.220 up
    当使用ifenslave 启动的时候报出如下错误:启动bond0的时候已经将eth0 eth1添加到/sys/class/net/bond0/bonding/slaves 里面了
    [root@rac4 network-scripts]# ifenslave  bond0 eth0 eth1
    Illegal operation: The specified slave interface 'eth0' is already a slave
    Master 'bond0', Slave 'eth0': Error: Enslave failed
    Illegal operation: The specified slave interface 'eth1' is already a slave
    Master 'bond0', Slave 'eth1': Error: Enslave failed
    [root@rac4 network-scripts]# ifenslave  bond0  eth1    
    Illegal operation: The specified slave interface 'eth1' is already a slave
    Master 'bond0', Slave 'eth1': Error: Enslave failed
    最后重启服务器:
    [root@rac4 ~]# reboot
    下面讨论一下绑定网卡的特性:
    当bonding 属性 mode=1时,绑定网卡工作在主备模式下,这时eth1作为备份网卡是no arp的 
    验证网卡的配置信息:
    [root@rac4 ~]# ifconfig                                
    bond0     Link encap:Ethernet  HWaddr 00:50:56:8F:22:48  
              inet addr:10.250.7.220  Bcast:10.250.7.255  Mask:255.255.255.0
              inet6 addr: fe80::250:56ff:fe8f:2248/64 Scope:Link
              UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1
              RX packets:1109 errors:0 dropped:0 overruns:0 frame.:0
              TX packets:120 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:0 
              RX bytes:84101 (82.1 KiB)  TX bytes:13835 (13.5 KiB)
    eth0      Link encap:Ethernet  HWaddr 00:50:56:8F:22:48  
              UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
              RX packets:566 errors:0 dropped:0 overruns:0 frame.:0
              TX packets:60 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:1000 
              RX bytes:43053 (42.0 KiB)  TX bytes:5791 (5.6 KiB)
              Base address:0x2000 Memory:d8920000-d8940000 
    eth1      Link encap:Ethernet  HWaddr 00:50:56:8F:22:48  
              UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
              RX packets:543 errors:0 dropped:0 overruns:0 frame.:0
              TX packets:61 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:1000 
              RX bytes:41048 (40.0 KiB)  TX bytes:8214 (8.0 KiB)
              Base address:0x2040 Memory:d8940000-d8960000 
    lo        Link encap:Local Loopback  
              inet addr:127.0.0.1  Mask:255.0.0.0
              inet6 addr: ::1/128 Scope:Host
              UP LOOPBACK RUNNING  MTU:16436  Metric:1
              RX packets:5694 errors:0 dropped:0 overruns:0 frame.:0
              TX packets:5694 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:0 
              RX bytes:8581664 (8.1 MiB)  TX bytes:8581664 (8.1 MiB)
    [root@rac4 ~]# cat /proc/net/bonding/bond0 
    Ethernet Channel Bonding Driver: v3.2.4 (January 28, 2008)
    Bonding Mode: fault-tolerance (active-backup) 主备模式
    Primary Slave: None
    Currently Active Slave: eth0 当前工作网卡为eth0
    MII Status: up
    MII Polling Interval (ms): 100
    Up Delay (ms): 0
    Down Delay (ms): 0
    Slave Interface: eth0
    MII Status: up
    Link Failure Count: 0
    Permanent HW addr: 00:50:56:8f:22:48
    Slave Interface: eth1
    MII Status: up
    Link Failure Count: 0
    Permanent HW addr: 00:50:56:8f:7d:6
    mode=1时,当一个网络接口失效时(例如主交换机掉电等),不回出现网络中断,系统会按照cat /etc/rc.d/rc.local里指定网卡的顺序工作,机器仍能对外服务,起到了失效保护的功能.
    对于mode=0 负载均衡工作模式,此模式能提供两倍的带宽,在这种情况下出现一块网卡失效,仅仅会是服务器出口带宽下降,也不会影响网络使用。通过查看bond0的工作状态查询能详细的掌握bonding的工作状态:
    [root@rac4 ~]# cat /proc/net/bonding/bond0 
    Ethernet Channel Bonding Driver: v3.2.4 (January 28, 2008)
    Bonding Mode: load balancing (round-robin)--负载模式
    MII Status: up
    MII Polling Interval (ms): 100
    Up Delay (ms): 0
    Down Delay (ms): 0
    Slave Interface: eth0
    MII Status: up
    Link Failure Count: 0
    Permanent HW addr: 00:50:56:8f:22:48
    Slave Interface: eth1
    MII Status: up
    Link Failure Count: 0
    Permanent HW addr: 00:50:56:8f:7d:6f
    [root@rac4 ~]# ifconfig
    bond0     Link encap:Ethernet  HWaddr 00:50:56:8F:22:48  
              inet addr:10.250.7.220  Bcast:10.250.7.255  Mask:255.255.255.0
              inet6 addr: fe80::250:56ff:fe8f:2248/64 Scope:Link
              UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1
              RX packets:376 errors:0 dropped:0 overruns:0 frame.:0
              TX packets:121 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:0 
              RX bytes:29934 (29.2 KiB)  TX bytes:13014 (12.7 KiB)
    eth0      Link encap:Ethernet  HWaddr 00:50:56:8F:22:48  
              UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
              RX packets:203 errors:0 dropped:0 overruns:0 frame.:0
              TX packets:61 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:1000 
              RX bytes:15858 (15.4 KiB)  TX bytes:8146 (7.9 KiB)
              Base address:0x2000 Memory:d8920000-d8940000 
    eth1      Link encap:Ethernet  HWaddr 00:50:56:8F:22:48  
              UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
              RX packets:173 errors:0 dropped:0 overruns:0 frame.:0
              TX packets:60 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:1000 
              RX bytes:14076 (13.7 KiB)  TX bytes:4868 (4.7 KiB)
              Base address:0x2040 Memory:d8940000-d8960000 
    lo        Link encap:Local Loopback  
              inet addr:127.0.0.1  Mask:255.0.0.0
              inet6 addr: ::1/128 Scope:Host
              UP LOOPBACK RUNNING  MTU:16436  Metric:1
              RX packets:3080 errors:0 dropped:0 overruns:0 frame.:0
              TX packets:3080 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:0 
              RX bytes:4806596 (4.5 MiB)  TX bytes:4806596 (4.5 MiB)
     

    Linux双网卡绑定bond详解

       网卡bond是通过多张网卡绑定为一个逻辑网卡,实现本地网卡的冗余,带宽扩容和负载均衡,在生产场景中是一种常用的技术。Kernels 2.4.12及以后的版本均供bonding模块,以前的版本可以通过patch实现。可以通过以下命令确定内核是否支持 bonding:

    1
    2
    3
    [root@lixin network-scripts]#cat /boot/config-2.6.32-573.el6.x86_64 |grep -i bonding
    CONFIG_BONDING=m
    [root@lixin network-scripts]#

    2 bond的模式

    bond的模式常用的有两种:

      mode=0(balance-rr)

        表示负载分担round-robin,并且是轮询的方式比如第一个包走eth0,第二个包走eth1,直到数据包发送完毕。

        优点:流量提高一倍

        缺点:需要接入交换机做端口聚合,否则可能无法使用

      mode=1(active-backup)

        表示主备模式,即同时只有1块网卡在工作。

        优点:冗余性高

        缺点:链路利用率低,两块网卡只有1块在工作

    bond其他模式:

      mode=2(balance-xor)(平衡策略)

        表示XOR Hash负载分担,和交换机的聚合强制不协商方式配合。(需要xmit_hash_policy,需要交换机配置port channel)

        特点:基于指定的传输HASH策略传输数据包。缺省的策略是:(源MAC地址 XOR 目标MAC地址) % slave数量。其他的传输策略可以通过xmit_hash_policy选项指定,此模式提供负载平衡和容错能力

      mode=3(broadcast)(广播策略)

        表示所有包从所有网络接口发出,这个不均衡,只有冗余机制,但过于浪费资源。此模式适用于金融行业,因为他们需要高可靠性的网络,不允许出现任何问题。需要和交换机的聚合强制不协商方式配合。

        特点:在每个slave接口上传输每个数据包,此模式提供了容错能力

      mode=4(802.3ad)(IEEE 802.3ad 动态链接聚合)

        表示支持802.3ad协议,和交换机的聚合LACP方式配合(需要xmit_hash_policy).标准要求所有设备在聚合操作时,要在同样的速率和双工模式,而且,和除了balance-rr模式外的其它bonding负载均衡模式一样,任何连接都不能使用多于一个接口的带宽。

        特点:创建一个聚合组,它们共享同样的速率和双工设定。根据802.3ad规范将多个slave工作在同一个激活的聚合体下。外出流量的slave选举是基于传输hash策略,该策略可以通过xmit_hash_policy选项从缺省的XOR策略改变到其他策略。需要注意的是,并不是所有的传输策略都是802.3ad适应的,尤其考虑到在802.3ad标准43.2.4章节提及的包乱序问题。不同的实现可能会有不同的适应性。

        必要条件:

            条件1:ethtool支持获取每个slave的速率和双工设定

            条件2:switch(交换机)支持IEEE802.3ad Dynamic link aggregation

            条件3:大多数switch(交换机)需要经过特定配置才能支持802.3ad模式

      mode=5(balance-tlb)(适配器传输负载均衡)

        是根据每个slave的负载情况选择slave进行发送,接收时使用当前轮到的slave。该模式要求slave接口的网络设备驱动有某种ethtool支持;而且ARP监控不可用。

        特点:不需要任何特别的switch(交换机)支持的通道bonding。在每个slave上根据当前的负载(根据速度计算)分配外出流量。如果正在接受数据的slave出故障了,另一个slave接管失败的slave的MAC地址。

        必要条件:

            ethtool支持获取每个slave的速率

      mode=6(balance-alb)(适配器适应性负载均衡)

        在5的tlb基础上增加了rlb(接收负载均衡receiveload balance).不需要任何switch(交换机)的支持。接收负载均衡是通过ARP协商实现的.

        特点:该模式包含了balance-tlb模式,同时加上针对IPV4流量的接收负载均衡(receiveload balance, rlb),而且不需要任何switch(交换机)的支持。接收负载均衡是通过ARP协商实现的。bonding驱动截获本机发送的ARP应答,并把源硬件地址改写为bond中某个slave的唯一硬件地址,从而使得不同的对端使用不同的硬件地址进行通信。来自服务器端的接收流量也会被均衡。当本机发送ARP请求时,bonding驱动把对端的IP信息从ARP包中复制并保存下来。当ARP应答从对端到达时,bonding驱动把它的硬件地址提取出来,并发起一个ARP应答给bond中的某个slave。使用ARP协商进行负载均衡的一个问题是:每次广播 ARP请求时都会使用bond的硬件地址,因此对端学习到这个硬件地址后,接收流量将会全部流向当前的slave。这个问题可以通过给所有的对端发送更新(ARP应答)来解决,应答中包含他们独一无二的硬件地址,从而导致流量重新分布。当新的slave加入到bond中时,或者某个未激活的slave重新激活时,接收流量也要重新分布。接收的负载被顺序地分布(round robin)在bond中最高速的slave上当某个链路被重新接上,或者一个新的slave加入到bond中,接收流量在所有当前激活的slave中全部重新分配,通过使用指定的MAC地址给每个 client发起ARP应答。下面介绍的updelay参数必须被设置为某个大于等于switch(交换机)转发延时的值,从而保证发往对端的ARP应答不会被switch(交换机)阻截。

    bond模式小结:

        mode5和mode6不需要交换机端的设置,网卡能自动聚合。mode4需要支持802.3ad。mode0,mode2和mode3理论上需要静态聚合方式。

    3 配置bond

    测试环境:

    1
    2
    3
    4
    5
    [root@lixin ~]# cat/etc/redhat-release
    CentOS release 6.7 (Final)
    [root@lixin ~]# uname -r
    2.6.32-573.el6.x86_64
    [root@lixin~]#

    1、配置物理网卡

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    [root@lixin network-scripts]#cat ifcfg-eth0    
    DEVICE=eth0
    TYPE=Ethernet
    ONBOOT=yes
    BOOTPROTO=none
    MASTER=bond0
    SLAVE=yes         //可以没有此字段,就需要开机执行ifenslave bond0 eth0 eth1命令了。
    [root@lixin network-scripts]#
    [root@lixin network-scripts]#cat ifcfg-eth1    
    DEVICE=eth1
    TYPE=Ethernet
    ONBOOT=yes
    BOOTPROTO=none
    MASTER=bond0
    SLAVE=yes       
    [root@lixin network-scripts]#

    2、配置逻辑网卡bond0

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    [root@lixin network-scripts]#cat ifcfg-bond0     //需要我们手工创建
    DEVICE=bond0
    TYPE=Ethernet
    ONBOOT=yes
    BOOTPROTO=static
    IPADDR=10.0.0.10
    NETMASK=255.255.255.0
    DNS2=4.4.4.4
    GATEWAY=10.0.0.2
    DNS1=10.0.0.2
    [root@lixin network-scripts]#

    由于没有这个配置文件我们可以使用拷贝一个ifcfg-eth1来用:cp ifcfg-{eth0,bond1}

    3、加载模块,让系统支持bonding

    1
    2
    3
    4
    [root@lixin ~]# cat/etc/modprobe.conf  //不存在的话,手动创建(也可以放在modprobe.d下面)
    alias bond0 bonding
    options bond0 miimon=100 mode=0
    [root@lixin ~]#

    配置bond0的链路检查时间为100ms,模式为0。

    注意:

      linux网卡bonging的备份模式实验在真实机器上做完全没问题(前提是linux内核支持),但是在vmware workstation虚拟中做就会出现如下图问题。  

    wKiom1cltR7iDq7qAAAZty5SqTM486.png

      配置完成后出现如上图问题,但是bond0能够正常启动也能够正常使用,只不过没有起到备份模式的效果。当使用ifdown eth0后,网络出现不通现象。

    内核文档中有说明:bond0获取mac地址有两种方式,一种是从第一个活跃网卡中获取mac地址,然后其余的SLAVE网卡的mac地址都使用该mac地址;另一种是使用fail_over_mac参数,是bond0使用当前活跃网卡的mac地址,mac地址或者活跃网卡的转换而变。  

      既然vmware workstation不支持第一种获取mac地址的方式,那么可以使用fail_over_mac=1参数,所以这里我们添加fail_over_mac=1参数

    1
    2
    3
    4
    [root@lixin etc]# cat/etc/modprobe.d/modprobe.conf
    alias bond0 bonding
    options bond0 miimon=100 mode=0fail_over_mac=1
    [root@lixin etc]#

    4、加载bond module

    1
    [root@lixin etc]# modprobe bonding

    5、查看绑定结果

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    [root@lixin etc]# cat/proc/net/bonding/bond0
    Ethernet Channel BondingDriver: v3.7.1 (April 27, 2011)
      
    Bonding Mode: load balancing(round-robin)
    MII Status: up
    MII Polling Interval (ms): 100
    Up Delay (ms): 0
    Down Delay (ms): 0
      
    Slave Interface: eth0
    MII Status: up
    Speed: 1000 Mbps
    Duplex: full
    Link Failure Count: 0
    Permanent HW addr:00:50:56:28:7f:51
    Slave queue ID: 0
      
    Slave Interface: eth1
    MII Status: up
    Speed: 1000 Mbps
    Duplex: full
    Link Failure Count: 0
    Permanent HW addr:00:50:56:29:9b:da
    Slave queue ID: 0
    [root@lixin etc]#

    4 测试bond

       由于使用的是mode=0,负载均衡的方式,这时我们ping百度,然后断开一个网卡,此时ping不会中断。

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    [root@lixin etc]# pingbaidu.com
    PING baidu.com (111.13.101.208)56(84) bytes of data.
    64 bytes from 111.13.101.208:icmp_seq=1 ttl=128 time=10.6 ms
    64 bytes from 111.13.101.208:icmp_seq=2 ttl=128 time=9.05 ms
    64 bytes from 111.13.101.208:icmp_seq=3 ttl=128 time=11.7 ms
    64 bytes from 111.13.101.208:icmp_seq=4 ttl=128 time=7.93 ms
    64 bytes from 111.13.101.208:icmp_seq=5 ttl=128 time=9.50 ms
    64 bytes from 111.13.101.208:icmp_seq=6 ttl=128 time=7.17 ms
    64 bytes from 111.13.101.208:icmp_seq=7 ttl=128 time=21.2 ms
    64 bytes from 111.13.101.208:icmp_seq=8 ttl=128 time=7.46 ms
    64 bytes from 111.13.101.208:icmp_seq=9 ttl=128 time=7.82 ms
    64 bytes from 111.13.101.208:icmp_seq=10 ttl=128 time=8.15 ms
    64 bytes from 111.13.101.208:icmp_seq=11 ttl=128 time=6.89 ms
    64 bytes from 111.13.101.208: icmp_seq=12ttl=128 time=8.33 ms
    64 bytes from 111.13.101.208:icmp_seq=13 ttl=128 time=8.65 ms
    64 bytes from 111.13.101.208:icmp_seq=14 ttl=128 time=7.16 ms
    64 bytes from 111.13.101.208:icmp_seq=15 ttl=128 time=9.31 ms
    64 bytes from 111.13.101.208:icmp_seq=16 ttl=128 time=10.5 ms
    64 bytes from 111.13.101.208:icmp_seq=17 ttl=128 time=7.61 ms
    64 bytes from 111.13.101.208:icmp_seq=18 ttl=128 time=10.2 ms
    ^C
    --- baidu.com ping statistics---
    18 packets transmitted, 18received, 0% packet loss, time 17443ms
    rtt min/avg/max/mdev = 6.899/9.417/21.254/3.170 ms
    //用另一个终端手动关闭eth0网卡,ping并没有中断
    [root@lixin etc]# !ca
    cat /proc/net/bonding/bond0
    Ethernet Channel BondingDriver: v3.7.1 (April 27, 2011)
      
    Bonding Mode: load balancing(round-robin)
    MII Status: up
    MII Polling Interval (ms): 100
    Up Delay (ms): 0
    Down Delay (ms): 0
      
    Slave Interface: eth0
    MII Status: down
    Speed: Unknown
    Duplex: Unknown
    Link Failure Count: 1
    Permanent HW addr:00:50:56:28:7f:51
    Slave queue ID: 0
      
    Slave Interface: eth1
    MII Status: up
    Speed: 1000 Mbps
    Duplex: full
    Link Failure Count: 0
    Permanent HW addr:00:50:56:29:9b:da
    Slave queue ID: 0
    [root@lixin etc]#

    //查看bond0状态,发现eth0,down了,但是bond正常

  • 相关阅读:
    /boot空间不足问题
    推荐系统冷启动问题
    recommendation system
    缺失值处理(前面两种方法偏向于统计学)
    概率密度估计(EM算法,混合朴素贝叶斯模型(朴素贝叶斯模型的无监督学习),因子模型)
    贝叶斯模型
    怎么用fiddler抓APP的包
    java个内部类的总结
    java 类、方法、代码块修饰式关键字总结
    java 字符串笔记
  • 原文地址:https://www.cnblogs.com/liuhongru/p/11115309.html
Copyright © 2020-2023  润新知