GPU板卡算力调度、虚拟化调度及集群网络虚拟化设计实现--《大模型时代的基础架...
一、GPU板卡级算力调度为AI建设的算力平台,不仅仅只用于单一的训练任务,还可以将GPU资源分配给不同的任务及客户使用。GPU调度系统可以基于现有的云计算技术构建,不必要再造一个轮子。可用于AI算力调度分配的云计算技术包括两类:1.基于虚拟化技术的GPU调度,如基于业界主流的KVM(Kernel-basedVirtualMachine)技术,是Linux系统中的主流虚拟化技术。在KVM配合CPU的I/O虚拟化后,可以为每台虚拟机分配独占的GPU,配合其它硬件就能够在