libvirt and QEMU 基础篇

libvirt and QEMU

零、前言

我们知道，操作系统上的程序分为两种，一种是用户态的程序，例如 Word、Excel 等，一种是内核态的程序，例如内核代码、驱动程序等。

为了区分内核态和用户态，CPU 专门设置四个特权等级 0、1、2、3 来做这个事情。大牛们在写 Linux 内核的时候，如果用户态程序做事情，就将扳手掰到第 3 等级，一旦要申请使用更多的资源，就需要申请将扳手掰到第 0 等级，内核才能在高权限访问这些资源，申请完资源，返回到用户态，扳手再掰回去。这个程序一直非常顺利地运行着，直到虚拟机出现了。

一、虚拟化框架

“虚拟化 ” 是一个描述运行软件的广义计算机术语，通常体现为在单一系统上运行多个操作系统，这些操作系统同时运行，而每个操作系统又是相互独立的。大多数现行的虚拟化实现使用一个 “虚拟机管理程序 ”（hypervisor），即一个软件层或子系统，该子系统控制硬件并向 “客机操作系统 ” 提供访问底层硬件的途径。通过向客机操作系统提供虚拟化的硬件虚拟机管理程序允许多种操作系统在相同的物理系统中运行，该虚拟机管理系统称为 “客机 ”（guest）。

文康说：通过虚拟化，可以将单台计算机划分成多台虚拟机，每台虚拟机拥有自己的操作系统。从物理机角度上看，它们彼此是独立的。具体来说就是具有自己的网络接口和IP地址、文件系统以及其他外围设备。（特指完全虚拟化环境下）从每个操作系统的角度来看，他们运行在自己的专有硬件（虚拟出来的硬件）上。它们认为自己是和硬件直接在打交道，但其实是同 qemu 模拟出来的硬件打交道，并且 qemu 会将这些指令 转译（中间人）给真正的硬件。

hypervisor 是管理和支持虚拟化环境的软件，可为每个操作系统运行虚拟机，并且为每个虚拟机提供虚拟 CPU、内存、磁盘、网络和其他外围设备的访问权限。同时限制虚拟机，使其无法直接访问实际硬件以及互相直接访问。

提供 hypervisor 的物理计算机或操作系统称为 host 计算节点。客户机 guest 是在 hypervisor 上运行的虚拟机

二、虚拟化细节

Q：不用虚拟化，能不能在一台机器上跑多台系统？

A：不能同时，只能跑一台。

每一个操作系统都有一个内核 kernel ，而这个 kernel 是需要对 CPU 的 ring0 进行操作的。如果没有任何限制，运行多台虚拟机则会出现多个操作系统同时抢占 CPU。所以运行多台虚拟机就需要一个调度程序去进行调度，它被称为 hypervisor （虚拟机控制软件）。

通过这样处理以后，我们就得到了虚拟机，而虚机运行在 ring3 环。反过来说。在 ring3 称为用户模式下的 全虚拟化 虚拟机，而 ring2 使用 hypervisor 实现资源调度；多台同时运行在 ring0 下的 半虚拟化 虚拟机容易崩。

1、虚拟化类型

虚拟化主要分为三种类型：完全虚拟化、半虚拟化和软件虚拟化。

• 完全虚拟化使用系统 CPU 的硬件特性为虚拟客户提供底层物理系统的完全抽象。
  • 完全虚拟化(full virtualization) : 允许未修改的操作系统和软件在虚拟机上的运行,就像直接在真实硬件上的运行。
  • 配备虚拟外围设备后,虚拟机环境看起来就像是裸机一样。物理硬件的访问权限由 hypervisor 控制,因此虚拟机不会互相干扰。
• 半虚拟化使用呈现给虚拟客户的软件和数据结构的集合，要求客户中的软件修改以使用半虚拟化环境。
  • 半虚拟化(Paravirtualization): 允许hypervisor为客户机操作系统提供特殊接口,以便其更有效地与hypervisor进行通信。通常,这需要对客户机操作系统或特殊hypervisor 感知型驱动程序的安装进行修改。
  • 半虚拟化应用一系列呈现给虚拟机的软件和数据结构，需要客机中的软件修改以使用半虚拟环境。
  • 半虚拟化包含整个内核，就像 Xen 准虚拟机，或者虚拟化 I/O 设备的驱动程序一样。
• 软件虚拟化使用较慢的二进制转换和其他仿真技术来运行未经修改的操作系统。像直接使用 QEMU 这种仿真技术。
  • Red Hat Enterprise Linux 不支持软件虚拟化。
• 原生虚拟化(native virtualization)或硬件辅助完全虚拟化(hardware-assisted fullvirtualization)允许几乎所有的代码都可未经更改地由CPU直接运行,从而提高效率。
  • hypervisior 只需在代码在使用干涉系统管理程序的状态或其支持环境的敏感指令时介入
  • 当今32位和64位x86 处理器上的Intel 虚拟化技术(VT-x)和AMD虚拟化(AMD-V)的发展使硬件辅助完全虚拟化成为可能。利用处理器的硬件特性，向客机提供底层实体系统的总抽象。这创建了新的虚拟系统，被称为一个 “虚拟机 ”（virtual machine），它允许客机操作系统在无需修改的情况下运行。客机操作系统和任何在客机虚拟机器中的应用并不会察觉出虚拟化环境并正常运作。

原生虚拟化，性能更好。允许几乎所有的代码都可未经更改地由 CPU 直接运行，从而提高效率。

也是工程师不断的在改进的地方，要更好的支持原生虚拟化。让虚拟化的速度和物理机一样，无论是 CPU 还是 IO or RAM。

2、硬件辅助虚拟化技术（HVM）

为了让虚拟机达到原生虚拟化的目的，需要使用硬件辅助虚拟化技术。

在第一代技术中,支持Intel VT/AMD-V的CPU上提供新处理器指令,可将CPU置入新的执行模式。为硬件辅助虚拟机执行指令时, CPU将切换到非root或客户机模式,在该模式下虚拟机的内核能够以级别0运行，而用户空间能够以级别3运行。

对于虚拟机内核来讲，只要将标志位设为虚拟机状态，我们就可以直接在 CPU 上执行大部分的指令，不需要虚拟化软件在中间转述，除非遇到特别敏感的指令，才需要将标志位设为物理机内核态运行，这样大大提高了效率。

这样操作以后，就出现了 CPU 快而 RAM 慢的情况。

第二代x86 硬件虚拟化支持内存管理单元(MMU)虚拟化。通常,CPU需要花费很多周期来处理内存页面与虚拟机的映射。MMU 虚拟化允许将工作负载转移到特殊硬件,从而提高性能。Intel将此技术称为扩展页表(ERT),在Nehalem微型架构处理器中引入。AMD将此技术称为快速虚拟化索引(RVi), 于2007年在四核Opteron处理器中引入。

这样 CPU 和 RAM 就都解决掉了。

第三代x86 硬件虚拟化支持集中于I/0虚拟化。主板芯片集上的使能技术为安全PCI穿透,允许将物理PCI设备直接连接到虚拟机。该技术可为虚拟机提供近似原生的I/O性能。在Intel中,这称为直接1/O虚拟化技术(VT-d);在AMD中,称为1/0虚拟化技术(AMD- Vi)(最初称为IOMMU)

之前，网卡 nic 还是要通过 hypervsor 交给虚拟机来用 vm ，到了千兆上不去。现在，新技术 SR-IOV 的网卡划48个口，跨过 hypervisor 直接给 vm 调用。很多通道的处理，直接交给网卡自己来做。通过这种技术，就解决了 IO 性能问题。

三、虚拟化组件

KVM

对于 KVM（英文 Kernel-based Virtual Machine 的缩写） 来说，其是一款支持虚拟机技术，而且是 linux 内核中的一个功能模块。它在 linux2.6.20 之后的任何 linux 分支中都被支持。

• KVM 是基于内核的虚拟机，直接集成到Linux内核中。它允许 Linux 内核在裸机上运行,并直接自行充当 hypervisor。

• KVM 项目由 Qumranet(现属于红帽) 于2006年10月启动。从 RHEL 5.4 开始,在 x86-64 架构上运行的红帽企业 Linux 中完全支持 KVM

• KVM 设计性能十分优异，hypervisor 所需的许多功能都已通过 Linux 内核实施,如处理器调度、内存管理、物理设备驱动程序等

• KVM 需要芯片支持虚拟化技术（英特尔的 VT 扩展或者 AMD 的 AMD-V 扩展）

  • 对于是否支持也可以通过命令行查看：egrep '(vmx|svm)' --color=always /proc/cpuinfo

    • 在 bios 中是默认设置不打开该功能的，要去 bios 设置其为 enable

  • 如果有任何内容则说明当期硬件架构是支持 kvm 的，否则就不支持。

Q：为什么还要 yum install libvirt*

A：操作系统装以后，天生就可以安装虚拟机了。但是，内核支持虚拟化，不代表应用就能直接访问虚拟化。应用需要调用 lib 来使用虚拟化，这是免费的。

Q：英特尔的 VT 扩展或者 AMD 的 AMD-V 扩展 是做什么的？

A：因为完全虚拟化是非常慢的，所以要使用硬件辅助虚拟化技术 Intel-VT，AMD-V，所以需要 CPU 硬件开启这个标志位，一般在 BIOS 里面设置。当确认开始了标志位之后，通过 KVM，GuestOS 的 CPU 指令不用经过 Qemu 转译，直接运行，大大提高了速度。所以，KVM 在内核里面需要有一个模块，来设置当前 CPU 是 Guest OS 在用，还是 Host OS 在用。

libvirt

libvirt 程序包是一个与 虚拟机监控程序 相独立的 虚拟化应用程序接口，它可以与操作系统的一系列虚拟化性能进行交互。

libvirt 是一个管理虚拟化平台的工具包，可从 C、Python、Perl、Go 等访问。

——提供简单虚拟化API的库

# yum info libvirt
Available Packages
Name        : libvirt
Arch        : x86_64
Version     : 4.5.0
Release     : 36.el7_9.5
Size        : 204 k
Repo        : updates/7/x86_64
Summary     : Library providing a simple virtualization API
URL         : https://libvirt.org/
License     : LGPLv2+
Description : Libvirt is a C toolkit to interact with the virtualization
            : capabilities of recent versions of Linux (and other OSes). The
            : main package includes the libvirtd server exporting the
            : virtualization support.

libvirt 项目旨在为运行在不同虚拟机管理程序技术上的虚拟管理工具提供长期稳定的 C API。

也有 Python 写好的 libvirt-python 软件包，来调用 libvirt 库接口，从而方便自己的应用程序更好的使用虚拟化功能。

libvirt 程序包在 GNU 较宽松公共许可证下，可作为免费软件使用。

Red Hat Enterprise Linux 7 支持 libvirt 以及其包括的基于 libvirt 的工具作为默认虚拟化管理（如 Red Hat Enterprise Virtualization 管理），例如 virt-manager 与 virsh 命令行管理工具。

libvirt 的主要功能：

• 一个稳定的通用层来安全地管理主机上的虚拟机。

• 一个管理本地系统和连网主机的通用接口。

• 提供 API 来列举、监测和使用管理节点上的可用资源，其中包括 CPU、内存、储存、网络和非一致性内存访问（NUMA）分区。

  • 部署、创建、修改、监测、控制、迁移以及停止虚拟机操作都需要这些 API。

• 尽管 libvirt 可同时访问多个主机，但 API 只限于单节点操作。

• 管理工具可以位于独立于主机的物理机上，并通过安全协议和主机进行交流。

架构设计思想

从该图可以看出，libvirt 的设计理念，是面向驱动的架构设计。对任何一种虚拟机技术都开发设计相对于该技术的驱动。在 libvirt api 之上会有很多个 driver，对于每一种虚拟机技术都会有一种 driver，用来充当该虚拟机技术与 libvirt 之间的包装接口。如此设计就可以避免 libvirt 需要设计各种针对不同虚拟机技术的接口，它主要关注底层的实现，提供对外接口调用，而不同的虚拟机技术通过调用 libvirt 提供的接口来完成自己所需要的功能。不同虚拟机技术就可以使用不同驱动，而且相互直接不会影响，方便扩展。而且 libvirt 提供了多种语言的编程接口，可以直接通过编程，调用 libvirt 提供的对外接口实现对虚拟机的操作。

QEMU

—— QEMU 是一个通用的开源机器模拟器和虚拟器。

• QEMU 有整套的虚拟机实现，由以下部分构成

  • 处理器模拟器（x86、IBM Z、PowerPC、Sparc）

  • 模拟的设备（显卡、网卡、硬盘、鼠标）

  • 用于将被模拟设备连接到相关主机设备的通用设备

  • 被模拟计算机（PC、Power Mac）的说明

  • 调试程序

  • 用来与模拟器交互的用户界面

• QEMU 是一个用户空间的进程，需要通过特定的接口才能调用到 KVM 模块提供的功能。

• 从 QEMU 角度来看，虚拟机运行期间，QEMU 通过 KVM 模块提供的系统调用接口进行内核设置，由 KVM 模块负责将虚拟机置于处理器的特殊模式运行。QEMU 使用了 KVM 模块的虚拟化功能，为自己的虚拟机提供硬件虚拟化加速以提高虚拟机的性能。

• 当用作虚拟器时，QEMU 通过直接在主机 CPU 上执行来宾代码来实现接近原生的性能。在 Xen 管理程序下执行或在 Linux 中使用 KVM 内核模块时，QEMU 支持虚拟化。使用 KVM 时，QEMU 可以虚拟化 x86、服务器和嵌入式 PowerPC、64 位 POWER、S390、32 位和 64 位 ARM 以及 MIPS 客户机。

Q：KVM 和 QEMU 有什么区别？

A：QEMU 使用仿真；KVM 使用处理器扩展 (HVM) 进行虚拟化。

Q：QEMU 和 KVM 是独立的吗？

A：是，但不完全是。KVM 模块的职责就是打开并初始化 VMX 功能，提供相应的接口以支持虚拟机的运行。 QEMU（quick emulator) 本身并不包含或依赖 KVM 模块，而 是一套由 Fabrice Bellard 编写的模拟计算机的自由软件。 QEMU 虚拟机 是一个纯软件的实现，可以在没有 KVM 模块的情况下独立运行，但是性能比较低。

Q：那为何还会有 qemu-kvm 这个名词？

A：单纯的使用 Qemu 属于完全虚拟化，性能特别低。所以 Qemu 将 KVM 整合进来，将有关 CPU 指令的部分交由内核模块来做，就是 qemu-kvm (qemu-system-XXX)。另外 Qemu 还会模拟其他的硬件，如网络和硬盘。同样，全虚拟化的方式也会影响这些设备的性能。这个时候就需要让 GuestOS 知道自己是虚拟机，需要加载特殊的半虚拟化驱动来提高性能。总之 qemu-kvm 就是这样的一种技术。它补充了 kvm 技术的不足，而且在性能上对 kvm 进行了优化。

Q：QEMU 和 KVM 到底有什么联系？

A：KVM 只是内核模块，用户并没法直接跟内核模块交互，需要借助用户空间的管理工具，而这个工具就是 QEMU。KVM 和 QEMU 相辅相成，QEMU 通过 KVM 达到了硬件虚拟化的速度，而 KVM 则通过 QEMU 来模拟设备。简单直接的理解就是：QEMU 是个计算机模拟器，而 KVM 为计算机的模拟提供加速功能。

Q：QEMU 又和 libvirt 有什么关系？

A：对于 KVM 来说。其匹配的用户空间工具并不仅仅只有 QEMU 作为唯一选择，还有 RedHat 开发的 libvirt、virsh、virt-manager 等。