实践教程
通过动手实践学习 HAMi。每个实验都是带真实输出的分步练习:你将亲手搭建集群、安装 HAMi,并验证 GPU 切分行为。
概念
实验所依赖的背景知识。
实验
在云虚拟机上从零搭建 GPU Kubernetes 集群并安装 HAMi。
在笔记本上学习 HAMi 控制面,无需 GPU。
多个 Pod 共享一张 GPU,显存和算力限制可验证。
通过 Kubernetes 原生 Dynamic Resource Allocation 实现同样效果(实验性)。
用 nvml-mock 模拟 8 张 A100 GPU 验证 HAMi 调度能力,无需真实 GPU。
在已有 GPU 集群上安装 HAMi,并用 GPU 切分能力调度 vLLM 推理服务。
在单节点 k3s 上让多个 Pod 共享一张非 MIG GPU,并证明 HAMi-core 强制执行显存上限。
使用 Volcano vGPU 共享单张 GPU,并验证 Gang 调度和队列级 vGPU 资源限制。
Simulate an asymmetric PCIe topology and verify HAMi's topology-aware scheduler avoids a poorly-connected GPU for multi-GPU requests and picks it for single-GPU requests, no real GPU required.
每个实验都列出了各自的前提条件。实验 3 和 4 直接复用实验 1 搭建的集群,一次开机即可完成全部三个实验;实验 2 可在任意笔记本上运行,无需 GPU。实验 7 在租用的 GPU 虚拟机上自行搭建单节点 k3s 集群,不使用 GPU Operator。实验 8 需要已有的 Volcano GPU 集群,用于验证 Volcano vGPU、Gang 调度和队列级资源限制。