AI Pulse
📡 X 信号

@superalesha开源推理优化实战手册(4+个月)

@superalesha开源推理优化实战手册(4+个月)

我花了 4 个多月,在 4 张 RTX 3090 上硬推 400B+ 的 MoE 模型,还让我的智能体去给推理引擎打补丁。今天我把这套实战手册开源了:覆盖 6 个模型、16 个章节、102 条经过实测的假设,还有一个可以直接丢进 Claude Code 或 Codex 的技能。这个仓库里 102 条思路中有 40 条失败了,而这一点恰恰重要。

我在自己的运行环境中遇到的情况:
- 关掉一条 CPU 指令(PDEP,EPYC Zen 2 上的微码),冷启动 CPU 专家的速度提升了 3.6 倍(从 1.6 毫秒降到 0.44 毫秒)。
- 重写 DMA 和分块加载,把 DeepSeek V4.1 Flash 的 32K 预填充速度从 430 tok/s 提升到 2,199 tok/s。
- “把热专家留在显存里”在 MiniMax-M3.1-Flash 上翻车了:在模拟中,静态配置命中率只有 64-69%,而随机放置是 61%。
- 在 Hy4 Flash 上,从提示中选出的 220 个专家,只覆盖了回答所需专家的 48%。
- 不加任何训练,仅为俄语添加一套西里尔语草稿词表,就把 Qwen3.8-Flash-Next 的接受率从 32% 提升到了 54%。

每一条都附带确切的硬件标签、原始数据、失败原因,以及是否值得重新测试。把它 clone 下来,让你的编程智能体去读 SKILL.md,别再把几周时间浪费在那些在你自己环境里根本跑不通的破事上。https://github.com/alesha-pro/inference-optimization-playbook 欢迎提交 PR!

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新