SRIOV 分离 VF 网口

SRIOV.sh

#!/bin/bash

__FileName__=""
__Author__="ShiWei"
__Time__="/2021/05/08"
__Version__="V1"

# 打印命令  并且  执行命令  函数
execute_and_pirnt_cmd() {
    # 第二个 参数 所执行命令 的注释
#    echo -e "
 $2 "
    printf "
%12s %-s
" " " $2
    echo  "[root@shiwei ~]# ${1}"
    res=-1  # 无 特殊字符命令的 输出状态
    result=0  # 有特殊字符命令的 输出结果
    echo $1 | grep -E  ['!'@#$%^&*()><|_+] &> /dev/zero
    # 0 : 有 特殊字符 ；  1 ： 无 特殊字符
    if [ $? -ne 0 ];then
        $1
        res=$?
    else
        # 命令之后包含 管道符
        echo $1 > cmd_script
        chmod 777 cmd_script
        bash cmd_script
#        ./cmd_script > result_file
#        result=`cat result_file`
#        rm -rf result_file
        rm -rf cmd_script
#        return ${result}
#        res=$?   # 此种方式 获取命令 执行结果 失败
    fi

    return ${res}
}


# 自动判断 该参数是否 配置,
read_or_config () {
    # 必须保证两个参数
    # 先判断 该参数是否已 配置
    if [ -z `eval 'echo $'"${2}"` ]; then
        read -p "$1" "$2"
    fi
}

# 优化网口
optim_net_card () {
    # 优化 物理网口
    ip link set ${1// /} mtu 9000
    combined=`ethtool  -l  ${1} | grep "Combined" | head -1 | awk -F ":" '{print $2}'`
    ethtool -L ${1} combined  ${combined// /}
        # 设置网卡最大缓存
    rx_num=`ethtool -g ${1} | grep -i rx:  | sed -n  '1p' | cut -d: -f2`
    tx_num=`ethtool -g ${1} | grep -i tx:  | sed -n  '1p' | cut -d: -f2`
    ethtool -G ${1} rx  ${rx_num// /}  tx  ${tx_num// }
} &> /dev/zero


bus () {
    echo '[root@Num_eigth_46 ~]# lspci -vvv | grep -i  ether'
    lspci -vvv | grep -i ether

    printf "%-15s %-8s %-15s %-15s %-20s %-32s %18s
"  "网口名"  "  状态"  "      Bus 号"  "   驱动名"  "     驱动版本" "             固件版本"  "  槽位号"
    for i in `cat /proc/net/dev | egrep -iv 'lo:|virbr|vnet|face|inter' | cut -d: -f1 | sort`
    do

        printf "%-15s" $i
        state=`ip addr  show $i | sed '1p' -n  | awk -F state '{print $2}' | awk '{print $1}'`
        printf "%-8s" $state
        bus=`ethtool -i $i | grep -i bus | awk -F info: '{print $2}'`
        printf "%-15s" $bus
        driver_name=`ethtool -i $i | sed '1p' -n | awk -F river: '{print $2}'`
        printf "%-15s" $driver_name
        driver_ver=`ethtool -i $i | sed '2p' -n | awk -F sion: '{print $2}'`
        printf "%-20s" $driver_ver
        fw_version=`ethtool -i $i | sed '3p' -n | cut -d: -f2`
        printf "%-32s" "$fw_version"
        slots=`lspci -v -s ${bus} | grep 'Physical Slot' | cut -d ':' -f2 | grep -v 'Input/output'`
        printf "%-6s
" $slots
    done
}


# [[ ${arr[@]/ens4f0/} != ${arr[@]} ]] && echo "Yes" || echo "No"
echo "#############################################################################################"
echo "#####################             SRIOV  自动化脚本                  ########################"
echo "#############################################################################################"
echo
printf "******  若当前为 SSH 链接机器， 则链接 IP 不可为当前所要配置SRIOV的网卡的IP   ******** 
"
printf "******  若该卡的是1G 电口卡,且驱动为 igb, 则SRIOV 的配置方法为 modprobe igb max_vfs=2,2,2,2 
 当同时存在多个驱动为 igb 的1G电口卡时, 默认优先分离板载的,  ****
"
printf "******  到当前为止 , 对 intel , mellanox, wangxun 卡 均有效   *****
"
printf "******  需要打 VF 驱动的网卡请自行先把 VF  驱动打好，否则即使分离 VF 口成功了, 
 由于不存在 VF 驱动的拉起, 你是看不到 VF 网口名的，但是各个 VF 口的 PCI 设备是存在的 
"
echo "#############################################################################################"
echo




PLATFORM='intel'
VIRT_BIOS='yes'
int_name=""
BUS=""
VF_NUM="0"
CURR_VF_NUM="0"
VF_ROOT=""
MAX_VF=""
TP_1G_SPEED="0"

echo
echo
# <1. 判断 CPU 平台
lscpu | sed '19p' -n | grep -i "VT-x"      # intel
if [ $? -eq 0 ]; then
    echo "该系统 CPU 为 Intel 平台"
else
    lscpu | sed '19p' -n | grep -i "amd-v" # amd
    if [ $? -eq 0 ]; then
        PLATFORM="amd"
        echo "*********** 该系统 CPU 为 AMD 平台"
    else
        PLATFORM="other"
        echo "*********** 该系统 CPU 为未知 平台"
        exit
    fi
fi


# <2.  判断 系统是否 开启 IOMMU, Intel 平台 在 /etc/default/grub 文件中添加 "intel_iommu=on iommu=pt",
    # Intel 平台 开启 IOMMU
    # 判断 Intel 平台 是否开启 IOMMU
if [ "$PLATFORM" == "intel" ]; then
    virt-host-validate | grep -i warn
    if [ $? -eq 0 ]; then
        grubby --update-kernel=`grubby --default-kernel` --args="intel_iommu=on iommu=pt"
        grub2-mkconfig -o /boot/efi/EFI/redhat/grub.cfg
        echo "*********** 该 Intel 平台系统内核已配置 IOMMU, 请重启就好 ......."
    fi
fi

    # 提示 要重启， 使其新添加的内核 参数 生效
    # AMD  平台 无需开启 IOMMU, 自动开启

# <3. 判断 系统 BIOS 是否开启 SRIOV 虚拟化开关
    # Intel 平台在 Bios 下开启 VT-D 虚拟化开关
    # AMD 平台需要在 Bios 下开启 SRIOV 和 SVM 两个 开关
virt-host-validate | grep "/dev/kvm exists" | grep -i "fail"
if [ $? -eq 0 ]; then
    VIRT_BIOS="no"
fi

if [ "$VIRT_BIOS" == "no" ];then
    if [ "$PLATFORM" == "amd" ]; then
        modprobe kvm
        modprobe ccp
        modprode kvm_amd
        echo "*********** 该 AMD 平台系统在 BIOS 下 未 开启虚拟化 SRIOV 和 SVM 开关, 请开启........."
        exit
    elif [ "$PLATFORM" == "intel" ]; then
        modprobe kvm
        mobprobe kvm_intel
        echo "*********** 该 Intel 平台系统在 BIOS 下 未 开启虚拟化 VT-D 开关, 请开启........."
        exit
    fi
else
    echo "*********** 该 ${PLATFORM} 平台系统在 BIOS 下已开启虚拟化开关。"
fi

echo
# 展示 SRIOV  vF 信息
bus
echo


# 输入待测网口名
while :
do
    read_or_config "请输入本机待测网口名:" int_name

    cat /proc/net/dev | egrep -iv 'lo:|virbr|vnet|face|inter' | cut -d: -f1 | grep ${int_name// /} &> /dev/zero
    if [ $? -eq 0 ];then
        break
    else
        echo "Sorry !本机无此网口,  请重新输入.........."
        int_name=""
    fi
done
echo
# 获取网卡 品牌 信息
bus_str=`ethtool -i ${int_name} | grep 'bus-info' | awk '{print $2}' | sed 's# ##g'`
driver_name=`ethtool -i ${int_name} | grep 'driver:' | awk '{print $2}' | sed 's# ##g'`
type_str=`lspci -vvv | grep 'Ethernet controller' | grep "${bus_str#*:}" | awk '{print $4,$5}' | tr A-Z a-z `
# 获取网卡是电口还是 光口(TP: 电口；  FIBRE: 光口)
cable_type=`ethtool ${int_name} | grep 'Supported ports:' | sed -r  's#.*[(.*)]$#1#g' | sed 's/ //g'`
# 获取网卡当前速率
net_curr_speed=`ethtool ${int_name} | grep 'Speed:' | awk '{print $2}'`
# 判断该网卡是 几 P 的(几个接口的)
net_port_total=`ls -al "/sys/bus/pci/drivers/${driver_name}/" | grep ${bus_str%.*} | wc -l`
# 判断当前 网口是 该网卡的 第几个 接口
net_port_num=${bus_str##*.}
# 当前 该网卡所有 网口的 vf 数量
declare -a every_curr_vfs

for num in $(seq 0 $(echo $((4-1))))
do
    every_curr_vfs[${num}]=`cd  /sys/bus/pci/drivers/${driver_name} && cat ${bus_str%.*}.${num}/sriov_numvfs`
done


if [ "${cable_type}" == "TP" -a "${driver_name}" == "igb" ]; then
    echo "******** 该网卡接口为电口， 且速率为 ${net_curr_speed}"
    TP_1G_SPEED="1"

elif [ "${cable_type}" == "FIBRE" ]; then
    echo "******** 该网卡接口为光口 "
fi


#*	表示任意字符串。
#[abc]	表示 a、b、c 三个字符中的任意一个。比如，[15ZH] 表示 1、5、Z、H 四个字符中的任意一个。
#[m-n]	表示从 m 到 n 的任意一个字符。比如，[0-9] 表示任意一个数字，[0-9a-zA-Z] 表示字母或数字。
#|	表示多重选择，类似逻辑运算中的或运算。比如，abc | xyz 表示匹配字符串 "abc" 或者 "xyz"。

case ${type_str} in
    *intel*)
        brand="intel"
    ;;
    *mellanox*)
        brand="mellanox"
    ;;
    *wangxun*)
        brand="wangxun"
    ;;
    *)
        brand="no"
    ;;
esac

echo "******** 网卡品牌为: ${brand}"


cd "/sys/bus/pci/devices/"
	# 等价地址
#	/sys/class/net/<网口名>/device

# 获取 Bus 号
BUS=`ethtool -i ${int_name} | grep -i bus | awk -F info: '{print $2}'`
BUS=${BUS// /}
echo "*********** ${int_name} 网口的 BUS 号为: $BUS"
#VF_ROOT="/sys/bus/pci/devices/${BUS}"
#cd VF_ROOT
# 展示 可分离的 最大 VF 口数量
MAX_VF=`cat   ${BUS// /}/sriov_totalvfs`
CURR_VF_NUM=`cat   ${BUS// /}/sriov_numvfs`
echo "*********** ${int_name} 网口可分离的最大 VF 数量为: ${MAX_VF}"
echo "*********** ${int_name} 网口当前已分离的 VF 口数量为: ${CURR_VF_NUM}"
echo

# 设置 VF
while :
do
    read -p "请输入${int_name} 网口要分离的 VF 口数量:" VF_NUM
        # 判断输入得是否有效
    if [[ ${VF_NUM// /} -gt $MAX_VF || ${VF_NUM// /} -lt 0 ]];then
        echo "              可分离 VF 口有效范围为: (0 <= VF <= ${MAX_VF})"
    else
        # 判断是否不为 1G 电口卡
        if [ "${TP_1G_SPEED}" == "0" ]; then
            echo ${VF_NUM} > ${BUS// /}/sriov_numvfs
        else
            modprobe -r igb
            sleep 1
            # 给该网卡所有网口
            every_curr_vfs[${net_port_num}]=${VF_NUM}
            config_str="${every_curr_vfs[0]},${every_curr_vfs[1]},${every_curr_vfs[2]},${every_curr_vfs[3]}"
            modprobe igb max_vfs=${config_str}
#            modprobe igb max_vfs=2,2,2,2
            echo
        fi
        echo "*********** VF 口分离完成。"
        wait
        sleep 1
        break
    fi
done

sleep 7
# 展示 所有 创建的 VF 口
if [[ "${VF_NUM}" -ne "0" ]]; then
    #bus | grep "${int_name}v"
    echo "在 ${int_name} 物理网口上所创建的所有 VF 口如下:"
    all_vf=($(cat /proc/net/dev | egrep -iv 'lo:|virbr|vnet|face|inter' | cut -d: -f1 | egrep -i "${int_name}.{1,}" | sort --field-separator=" " --key=3))
    for vf in $(seq $(echo $((${VF_NUM// /} - 1 ))) -1  0)
    do
        if [ `expr ${vf} % 5` == "0" ]; then
            printf "
"
        fi
        printf "   ${all_vf[${vf}]}   "
    done
    echo "   ${all_vf[0]}   "
    # 设置物理口的 mtu 为 9000
    optim_net_card ${int_name}
    # 设置 所有 VF 口 的 mtu 为 9000
    for vf_dev in `cat /proc/net/dev | egrep -iv 'lo:|virbr|vnet|face|inter' | cut -d: -f1 | egrep -i "${int_name}[a-z]{1,}" | sort --field-separator=" " --key=3 | awk '{print $1}'`
    do
#        ip link set ${vf_dev// /} mtu 9000
        optim_net_card ${vf_dev}
    done
fi
echo
echo

# 优化 物理网口
    # 设置最大队列
#combined=`ethtool  -l  ${int_name} | grep "Combined" | head -1 | awk -F ":" '{print $2}'`
#ethtool -L ${int_name} combined  ${combined}
#    # 设置网卡最大缓存
#rx_num=`ethtool -g ${int_name} | grep -i rx  | sed -n  '1p' | cut -d: -f2`
#tx_num=`ethtool -g ${int_name} | grep -i tx  | sed -n  '1p' | cut -d: -f2`
#ethtool -G ${int_name} rx  ${rx_num}  tx  ${tx_num}

# DHCP  获取 IP
dhclient -r
dhclient &> /dev/zero

# 善意的提醒
# 1. 测试 SRIOV bond 时 ， 别忘记安装  python3 了