第9章：性能分析与 Benchmark

本章简介

优化效果需要量化验证，本章建立推理场景的完整性能评估体系，压测工具以 vLLM 自带的基准工具为主。

推理指标体系定义完整指标集：QPS、TTFT(P50/P95)、TPOT(P50/P95)、Throughput、显存峰值、GPU 利用率，分析指标间的关联与 trade-off，强调单一指标无法反映全貌。

压测工具覆盖 vLLM 自带的 vllm bench serve / vllm bench latency / vllm bench throughput、GenAI-Perf（LLM 指标一站式输出）、Triton Perf Analyzer，以及自定义压测脚本的设计要点和可复现的 Benchmark 配置管理。

性能分析工具在推理场景下的最佳实践：torch.profiler 算子级分析、Nsight Systems 全链路分析、Nsight Compute Kernel 级下钻。

权威基准介绍 MLPerf Inference（Datacenter）和 LLM Perf 评测趋势。

性能回归门禁制定规则（如 TPOT P95 退化 > 5% 则 Block Merge）、CI 自动化集成和退化定位方法（git bisect + Nsight 对比）。

动手实验：用 vllm bench serve 输出完整指标报告，模拟性能退化并用 Nsight Systems 定位。

本章小节

• 9.1 推理指标体系：QPS、TTFT、TPOT、Throughput、显存与利用率的关联
• 9.2 压测工具：vllm bench、GenAI-Perf、可复现的压测配置
• 9.3 性能分析工具：torch.profiler、Nsight Systems/Compute
• 9.4 权威基准：MLPerf Inference 与评测趋势
• 9.5 性能回归门禁：门禁规则、CI 集成、退化定位

📝 学习提示

• 本章是“验证层”：前面的优化（第 2-8 章）效果如何，用本章的指标与工具来量化。建议按 9.1 → 9.2 → 9.3 的顺序读（指标 → 测量 → 分析），9.4/9.5 可独立阅读。
• 9.1 的 Goodput/SLO 与第 7 章 PD 分离闭环：分离架构的收益必须用 Goodput 验证。
• 9.2 的可复现压测是 9.5 门禁的前置条件——没有可复现的压测，就没有性能回归检测。
• 9.3 的 profiler 对比（good/bad）是 9.5 退化定位的第三招（git bisect 定位 commit，Nsight 对比定位根因）。
• 9.4 的 MLPerf v6.0 负载清单（MoE/推理模型/VLM）就是平台能力建设清单，可对照第 5-8 章的技术逐项验证。
• 本章命令与 API 基于 vLLM v0.26.0（vllm bench serve/latency/throughput 新 CLI），参数随版本变化，以官方文档为准。