最近用到了一次qemu-kvm 网卡透传的功能,在这里我要透传的是25G网卡,记录一下步骤:
1.修改BIOS setup,打开VT-d选项,VT-d是intel cpu支持硬件虚拟化的技术,通过它可以直接分配物理设备给客户机,是透传必需的设定。
2.在grub里添加intel_iommu=on选项,iommu即input/output memory management unit,IOMMU在虚拟化的支持主要两个方面,一个DMA Remapping, 另外一个是Interrupt Remapping
3.开机后找到网卡的pci address, 这里是18:00.0和18:00.1
查看device ID
lspci -n -s 18:00.0
18:00.0 8086:158B
-n :show device number id
-s:select slot
4.验证下是否支持iommu
[root@REDIS-Client ~]$dmesg |grep -i iommu|grep 18:00
[ 6.396220] pci 0000:18:00.0: Adding to iommu group 23
[ 6.396285] pci 0000:18:00.1: Adding to iommu group 24
或者
[root@REDIS-Client ~]$readlink /sys/bus/pci/devices/0000:18:00.0/iommu_group
../../../../kernel/iommu_groups/23
[root@REDIS-Client ~]$readlink /sys/bus/pci/devices/0000:18:00.1/iommu_group
../../../../kernel/iommu_groups/24
5.设置SR_IOV的 VF端口数量,1表示只有一个VF端口,一个VF端口只能同时给一个设备使用,用来控制是否多个虚拟机共享此设备的。
echo 1 > /sys/bus/pci/devices/0000:18:00.0/sriov_numvfs
echo 1 > /sys/bus/pci/devices/0000:18:00.1/sriov_numvfs
6.ubund form host device driver
echo "0000:18:00.0" > /sys/bus/pci/devices/0000:18:00.1/driver/unbind
echo "0000:18:00.1" > /sys/bus/pci/devices/0000:18:00.1/driver/unbind
7.bind to vfio-pci
modprobe vfio
modprobe vfio-pci
[root@REDIS-Client ~]$echo "8086 158b" > /sys/bus/pci/drivers/vfio-pci/new_id
[root@REDIS-Client ~]$ls /dev/vfio/
23 24 vfio
8.起guest时添加参数
-device vfio-pci,host=18:00.0,id=net0 -device vfio-pci,host=18:00.1,id=net1
*注意:由于网卡是直接由host分配给虚拟机的,所以这里不需要做任何bridge,直接配置IP就可以用的。