跳转至

Kubernetes AI Infra

从 Kubernetes 到大模型推理
理解系统原理,实践部署、调优与故障排查

课程大纲

第一部分

Kubernetes 基础与生产集群

章节章节概要
第 1 章一个 Pod 是如何被创建的 介绍 API Server、Controller、Scheduler、Kubelet、Container Runtime、CNI、CSI 和 Device Plugin 在 Pod 创建与运行过程中完成的工作,以及常见 Pod 创建和运行故障的排查方法。
第 2 章Kubernetes Operator 与声明式 API 介绍 CRD、client-go、controller-runtime 和 Kubebuilder 之间的关系,讲清事件如何进入工作队列、Reconcile 如何创建和更新资源,以及如何通过幂等处理、状态回写和错误重试管理应用。
第 3 章生产级 Kubernetes 管理 从 Control Plane、etcd、Worker Node、网络、存储和 Workload 六个方面介绍生产集群的高可用、容量管理和故障处理,并介绍 Kubernetes-in-Kubernetes 的架构、组件部署方式与集群生命周期管理。

第二部分

GPU 资源管理与 AI 工作负载调度

章节章节概要
第 4 章Kubernetes 环境中的 GPU 管理 介绍 NVIDIA Driver、Container Toolkit、Device Plugin 和 GPU Operator 如何把节点 GPU 提供给容器,并比较整卡、MIG、MPS、Time-Slicing 与 DRA 的资源表达、隔离能力和适用场景,同时介绍 GPU 核心监控指标、健康检查与节点维护。
第 5 章Kubernetes 中的 AI 工作负载调度 从 Kubernetes 的调度周期和 Scheduler Framework 出发,介绍亲和性、污点、抢占等原生机制,再讲解分布式 AI 任务需要的 Gang Scheduling、队列、公平性和 GPU/NIC 拓扑感知。

第三部分

vLLM 核心原理与功能特性

章节章节概要
第 6 章vLLM 核心原理与请求执行流程 介绍 API Server、Engine Core、Scheduler、KV Cache Manager、Model Runner 和 GPU Worker,以及 Tokenization、Prefill、Decode、Sampling、Streaming、统一 Token 调度、Paged KV Cache 和 Attention 执行。
第 7 章Prefix Cache 与 KV Cache Aware Routing 先讲单个实例如何通过 Automatic Prefix Caching 复用相同 Token 前缀,再讲多副本环境如何根据缓存位置和 Worker 负载选择实例,并分析缓存命中率、队列长度、扩缩容和 Worker 重启对路由效果的影响。
第 8 章KV Connector 与 KV Cache Offloading 先介绍 KV Connector 的工作原理、接口职责和数据路径,再讲解 KV Cache 如何在 GPU、CPU、本地磁盘、共享存储和远端 KV Store 之间保存与加载;以 vLLM 原生 Offloading、LMCache 和 Mooncake 为例,分析分层缓存、淘汰、传输与故障处理。
第 9 章LoRA 介绍 LoRA 原理,以及 vLLM 的 LoRA 管理,包括多个 Adapter 的加载、按请求选择、并发执行和动态更新。
第 10 章vLLM 暂停与休眠 介绍 Pause/Resume 与 Sleep/Wake 的执行机制,比较它们对请求调度、KV Cache、模型权重、CPU Memory 和 GPU Memory 的不同影响。
第 11 章vLLM 冷启动优化 拆解模型下载、权重读取、GPU 加载、Engine 初始化、内存 Profiling、Compilation、CUDA Graph Capture 和 Warm-up,并介绍 Sharded State、流式权重加载、Compile Cache 与启动验收。

第四部分

分布式推理与生产调优

章节章节概要
第 12 章并行策略 介绍 TP、SP、PP、DP、EP 和 CP,比较不同并行策略的切分对象、适用场景、通信方式和主要开销,以及如何根据模型规模、上下文长度和硬件拓扑选择并行策略。
第 13 章多节点推理 介绍 Multiprocessing、Ray 等 vLLM 多节点运行方式,以及 Kubernetes 环境中的 LeaderWorkerSet(LWS)、Grove 等多节点推理工作负载编排方案。
第 14 章P/D 分离与 KV Cache 传输 介绍 P/D 分离的基本架构,以及 KV Cache 传输、KV Cache Pool 和双向 KV Transfer 等方案。
第 15 章vLLM 生产调优 介绍影响 vLLM 延迟、吞吐和显存使用的核心调优参数,包括 KV Cache、Batching、Chunked Prefill、CUDA Graph 和 CPU/NUMA 配置。
第 16 章弹性扩缩容 介绍推理服务的扩缩容指标,并比较 HPA、KEDA Event-driven Autoscaling 与基于性能模型的 SLA Planner。

第五部分

可观测性与性能分析

章节章节概要
第 17 章vLLM 监控与可观测性 介绍 TTFT、ITL、Token Throughput、请求队列、KV Cache 使用率和 Prefix Cache 命中率等 vLLM 核心指标,以及使用 Prometheus、OpenTelemetry、Loki 和 Tempo 监控 Metrics、Logs 与 Traces。
第 18 章eBPF 与系统性能分析 从 Linux 60 秒性能诊断法开始,介绍 eBPF 如何分析 CPU 调度、内存、文件 I/O 和网络,以及如何使用 eBPF 观测 GPU 工作负载。
第 19 章Profiling 介绍 PyTorch Profiler、Nsight Systems 和 Nsight Compute 等 Profiling 工具,以及它们各自适合分析的性能问题。