AI Pulse
📡 X 信号

bojie_li 发布《深入理解 AI Infra》共500页

《深入理解 AI Infra》开源发布了!写完《深入理解 AI Agent》后,在与读者交流的过程中,我越来越感到,要开发好基于模型的应用,还需要理解它赖以运行的基础设施。最近几十年系统领域最重要的变化是编程抽象的上移:从操作系统到模型上��文。

传统的操作系统、编译器和硬件要为事先未知的各种程序提供通用能力,系统优化总要在可编程性与性能之间取舍。如今 LLM 成了最重要的应用,可以针对特定的模型和加速器架构优化;模型设计也开始反过来适应硬件,DeepSeek V4/V4.1 重新设计长上下文的表示方式,就是一例。从某种意义上说,模型成了 LLM 时代的操作系统,AI Infra 成了 LLM 时代的计算机体系结构。

《计算机体系结构:量化研究方法》是我在体系结构领域的入门书,而 AI Infra 领域还缺少一本从硬件约束和模型架构出发、量化推导系统设计的书,这是我写作本书的动机。全书约 500 页,包括 12 章: 1. 初识 AI Infra 2. 模型架构 3. 推理与训练负载 4. 加速器架构 5. 算子与运行时 6. 超节点 7. 数据中心网络 8. 推理优化 9. 分布式推理 10. 训练系统 11. 资源调度与运行环境 12. 端边云协同 欢迎 star & 提 issue/PR!

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新