大型语言模型中的效率地址：alex.smola.org/posts/45-mlss-efficiency/

Alex Smola在哥伦比亚大学教授LLM优化的课件。

“这是一个很好的机会，来回顾我们如何在模型、硬件和算法上实现令人兴奋的趋同演化，以提升服务效率。准备好深入探讨芯片、带宽，以及随机算法和架构吧。我的目标是撰写一份六部分的实践指南。贯穿始终的示例是Qwen3，包括密集型的8B模型和30B-A3B混合专家模型，上下文长度为4万token。

1. 概述。预填充与解码、算术强度，以及能告诉你正在应对哪个问题的屋顶线图。 2. 硬件。设备物理：带宽阶梯、FP8和FP4数字格式、为何一次DRAM访问成本约等于500次乘法运算、为何每代硬件计算能力增长约4倍而内存带宽仅翻倍。还有家庭视角：DGX Spark、Strix Halo设备或配备大量统一内存的Apple Silicon Mac，竟是出奇好的解码机器。 3. 服务。连续批处理、PagedAttention、前缀缓存、RadixAttention，以及将预填充与解码分离到不同硬件上。有趣的事实：你的API账单很可能是一份缓存命中率报告。工具：vLLM和SGLang。 4. 权重压缩。混合专家模型即“不触碰大部分权重”，然后量化至4比特，以及一个相当优雅的事实：训练权重的指数几乎可以无损压缩至每个约4.7比特。 5. KV压缩。在上下文变长时，缩小另一个会饱和内存总线的因素。 6. 总结与资源。实际获取所有这些内容的途径，以及每个技巧背后的论文。 以教学为先，因此图表优于公式，公式优于大段文字，并附有大量论文的原始引用。”