GPU 虚拟化技术

须知: 文章内容大程度参考B站王利明老师对《GPU虚拟化技术分享》的主题演讲
视频链接: https://b23.tv/uQKBpcK

1 GPU 和软件架构

GPU可以用于图形渲染，GPU 作为加速图形绘制的芯片时，它主要面向的产品主要是会集中在 PC 和游戏两个市场。也能够用于高性能计算领域(GPGPU)和编解码场景(子模块)等。

下图将软件系统中的 GPU 子系统抽象了几层概念，在 GPU 上的经典软件架构（不含虚拟化），分别适用到 通用计算领域 和 图形渲染领域 两类场景。

图：GPU 的典型软件架构（不含虚拟化）

2 GPU 和虚拟化

虚拟化使用软件在计算机硬件上创建抽象层，能够将单个计算机的硬件元素（包括处理器、内存、存储器等）分成多个虚拟计算机，通常称为虚拟机 (VM)。 GPU 虚拟化是系统软硬件模拟 GPU 资源，以支持虚拟机方案。

3 GPU 虚拟化需求

体现在资源共享和资源隔离两方面

• 资源共享的需求：GPU 性能越来越强大，需要多租户（多容器和多虚机）共享资源。应用场景如多屏车机、本地桌面虚机、远程桌面（桌面虚拟化）、云 GPU 虚机。
• 资源隔离的需求：要保证多租户互不影响，应用场景如显存隔离、算力隔离、故障隔离。

4 GPU 虚拟化技术

虚拟化技术实现体现三个层次，即用户层、内核层和硬件层。然后在根据技术的应用场景分为隔离场景（容器和虚机）和硬件场景（虚拟桌面、渲染和 AI 计算）两个维度，不同的技术可能仅适用它对应的的场景。技术实现可分类为：

• 用户层：API 拦截和 API forwarding
• 内核层：GPU 驱动拦截
• 内核层：GPU 驱动半虚拟化：Para Virtualization
• 硬件层：硬件虚拟化：Virtualization
• 硬件层：SRIOV：Single Root I/O Virtualization
• 硬件层：Nvidia MIG：Multi-Instance GPU

5 GPU 用户层虚拟化

1）本地 API 拦截和 API forwarding

• 在用户态实现一个函数库，假设叫 libwrapper ，它要实现底层库的所有 API
• 让 APP 调用这个 libwrapper => 如何实现？底层动态库 + 用dlopen打开
• libwrapper 拦截用户的函数调用，对函数进行解析，然后使用参数去调用实际的底层库相同名称的函数
• 调用完成后，libwrapper 把结果返回给 APP

2）远程 API forwarding

• libwrapper 通过网络，去调用不同机器上的底层库
• libwrapper 变成两部分，client 用于转发，和 server 用于接收和调用
• 可以实现 GPU 池化（即多个 GPU 可以组成调用池，由多个 client 来调用），可以做到不具备 GPU 的机器能实现 GPU 的功能

3）半虚拟化 API forwarding

• APP 和 libwrapper 运行在虚机中
• libwrapper 通过半虚拟化方式（virtio）进行通讯，调用宿主机的底层库
• 虚机的内核要实现 virtio frontend => 优化点? 虚机和宿主机共享内存加速数据传递
• 宿主机的 hypervisor 实现 virtio backend
• 宿主机完成底层库的调用

6 GPU 内核层虚拟化

1）内核模块通过设备文件拦截
内核拦截模块模拟一个设备文件，内核拦截模块将用户进程的访问转发到（真实的）驱动软件，然后将对应内核函数的返回解析，再返回用户态。

• 通常底层库通过设备文件访问 GPU 驱动的功能，假设为 /dev/realgpu
• 实现一个内核模块，输出模拟的设备文件给用户空间，假设为 /dev/realgpu
• 把模拟的设备文件 bind mount 到容器里，伪装成真的设备文件 /dev/realgpu
• APP 和底层库都在容器里运行，底层库访问伪装的设备文件 /dev/realgpu，此时所有访问被内核模块拦截

2）驱动半虚拟化
用户进程通过系统虚拟化层（hypervisor）提供的虚拟化接口，访问（真实的）虚拟化接口。

• APP 和底层库都在虚机里
• 虚机的 GPU 驱动实现半虚拟化接口，通过类似 hypercall 的方式，调用宿主机实际的 GPU 驱动
• hypercall 切换 guest 到 hypervisor， hypervisor 通过内核中的驱动代理来访问实际的 GPU 驱动

例如，车机中的 GPU 虚拟化。基于 type 1 的 hypervisor 虚拟化技术，支持多个 Guest。

7 GPU 硬件层虚拟化

虚拟化需要软件和硬件结合才能实现，其中需要硬件的支持的部分包括

• 支持 CPU 和内存的硬件虚拟化
• 支持 IOMMU
  • DMA remapping和Interrupt remapping
  • 硬件隔离和页表机制

8 GPU 全虚拟化

该方案实现了将整个 GPU 透传给虚拟，严格来说不算虚拟化领域，因为无法实现 GPU 资源共享。

• 虚机的 GPU 驱动，不需要做任何修改，基本上访问的是真实的硬件资源
• 整个 GPU 透传给虚机，性能损耗最小
• 因为无法实现 GPU 资源共享，一般认为不属于GPU 虚拟化

9 参考资料

• 《GPU虚拟化技术分享》| 王利明