跳到主要内容
🚀 推理优化59 篇文章 · 11 个章节

模块四:推理优化

覆盖 LLM 推理基础、推理引擎核心技术、主流推理框架、量化、Speculative Decoding、PD 解耦架构,以及性能分析与端到端实战。

开始学习

章节目录

理解 LLM 自回归生成的 Prefill/Decode 两阶段、KV Cache 机制和推理关键性能指标
深入 vLLM 的整体架构、V1 引擎设计、调度器源码与关键配置调优,并横向对比 SGLang、TensorRT-LLM

学习建议

前置要求

前置知识模块 + CUDA 编程基础

  • LLM 推理基础章节帮助理解推理场景的独特挑战
  • 量化和 Speculative Decoding 是当前最热门的推理优化方向
  • 建议结合主流推理框架(如 vLLM)进行实际部署练习