用户层虚拟化
本地 API 拦截和 API formwarding
-
在用户态实现一个函数库，假设叫 libwrapper， 它要实现底层库的所有 API；
-
让 APP 调用这个 libwrapper。如何做？
-
libwrapper 拦截用户的函数调用，对参数进行解析，然后使用参数去调用实际的底层库相同名称的函数。
-
调用完成后，libwrapper 把结果返回给 APP；
实现关键：
-
APP 和底层可的静态链接变成动态链接；
-
libwrapper 使用类似 dlopen 打开底层库；
远程 API forwarding
-
libwrapper 通过网络，去调用不同机器上的底层库
-
libwrapper 变为两部分
- client：拦截，转发
- server：接收，调用
可以实现 GPU 池化：即多个 GPU 可以组成调用池，由多个 client 来调用，可以做到让不具备 GPU 的机器能实现 GPU 的功能。实现关键：
-
调用函数类似 RPC，参数需要进行序列化和反序列化；
-
相对本机来说，远程数据传输的性能对函数调用的延迟影响很大。一般可以通过 RDMA 进行网络加速。
半虚拟化 API forwarding
-
APP 和 libwrapper 运行在虚机中；
-
libwrapper 通过半虚拟化(virtio)进行通讯，调用宿主机的底层库；
-
VM 的内核要实现 virtio frontend
-
Host 的 Hypervisor 要实现 virtio backend
-
宿主机完成底层库的调用
内核层虚拟化
内核层 GPU 驱动拦截
实现原理：内核模块通过设备文件拦截
-
通常底层库通过设备文件访问 GPU 驱动的功能，假设为/dev/realgpu
-
实现一个内核模块，输出模拟的设备文件给用户空间，/dev/fakegpu
-
把模拟的设备文件 bind mount 到容器里，伪装成真的设备文件，/dev/realgpu
-
APP 和底层库都在容器里运行，底层库访问伪装的设备文件/dev/realgpu，此时所有访问被内核模块拦截；
实现关键
-
需要了解底层库调用 GPU 驱动的系统调用的含义；
-
内核拦截模块只需要拦截必要的系统调用；
-
适合容器应用；
内核层 GPU 驱动半虚拟化
实现原理：GPU 驱动半虚拟化
-
APP 和底层库都在 VM 里；
-
VM 的 GPU 驱动实现半虚拟化接口，通过类似 hpyercall 的方式，调用 Host 实际的 GPU 驱动；
-
hpyercall 切换 guest 到 Hypervisor，Hypervisor 通过内核中的驱动代理来访问实际的 GPU 驱动；
实现关键
-
适合 VM 应用；
-
结合硬件虚拟化支持类似 vGPU 功能；
硬件虚拟化
全虚拟化/透传 GPU
全虚拟化，Full Virtualization，又称透传 GPU。
-
虚机的 GPU 驱动，不需要做任何修改，基本上访 问的是 GPU 真实的硬件资源；
-
整个 GPU 透传给虚机，性能损耗最小；
-
因为无法实现 GPU 资源共享，一般认为不属于 GPU 虚拟化。
NVIDIA vGPU
-
虚拟机内核需要安装特定的虚拟化驱动：GRID 驱动。
-
显存按照固定切分，直接分配给 VM；
-
算力调度采用时分方案，按时间片分配给 VM；
NVIDIA MIG
NVIDIA 硬件切分方案：MIG
-
MIG：Multi-Instance GPU，NVIDIA 自己退出的硬件资源切分方案。可以直接把 GPU 切分多分，每一份资源硬件隔离；
-
每一 MIG 的切分，可以当作一个 GPU 来使用，同时可以结合容器来部署；
-
目前仅在 A30、A100、H100 显卡上支持；
NVIDIA MIG vGPU
MIG 和 vGPU 的结合：NVIDIA MIG vGPU
-
显存，算力都按照 MIG 硬件切分，直接分配给 VM；
-
算力损耗相对 vGPU 小；
AMD MxGPU
基于 SRIOV 方式切分 GPU 为 VF
Intel GVT-g
类似 Nvidia vGPU
总结
