月之暗面发布Kimi K3大模型 支持百万token上下文窗口

介绍 Kimi K3：开放前沿智能 🔹 2.8万亿参数，100万上下文长度，原生多模态 🔹 Kimi Delta Attention 在百万 token 上下文实现最高6.3倍更快的解码速度 🔹 Attention Residuals 在额外成本低于2%的前提下，将训练效率提升约25% 🔹 为长周期智能体编码和自进化工作流构建

Kimi K3 现已在 Kimi Work、Kimi Code 和 Kimi API 上线。权重将于2026年7月27日前开放。🔗 API: 🔗 技术博客：

K3 基于 Kimi Delta Attention (KDA) 和 Attention Residuals (AttnRes) 构建，这两项架构更新旨在改进信息在序列长度和模型深度之间的流动方式。我们还提升了 Mixture of Experts (MoE) 稀疏度，配合 Stable LatentMoE 框架时，可在896个专家中有效激活16个。

结合优化后的训练和数据方案，这些结构改动相比 K2 将整体缩放效率提升了约2.5倍，让模型可以更高效地将算力转化为智能。

除公开基准测试外，在我们的内部知识工作台基准上，Kimi K3 Max 也取得了稳定提升，这些基准基于真实用户智能体工作流中的反复出现模式和挑战构建。

它在 Online Exp Bench 得分75.5，在 DECK-Bench 得分73.5，在 Finance-Bench 得分62.6，三项成绩均优于 Claude Opus 4.8 (max) 和 GPT-5.5 (xhigh)。这些结果体现了 Kimi K3 在智能体知识工作能力上的全面提升，可在真实使用场景中提供更强大、更可靠的性能。

自进化：AttnRes 内核优化。对于生产规模下（96层、8192维模型、8192 token）的 FLA Triton AttnRes，我们的目标是在不改变数值的前提下最大化训练侧速度。经过15小时不停迭代，K3 设计出了全新的两阶段内核算法，在保留数值精度的同时融合了内核，将前向+反向时间从283.6毫秒降至114.4毫秒。

K3 和 Fable-5（含潜在后备方案）达到了相近性能，但 K3 每次迭代的提升速度更快。

Kimi K3 结合了强大的3D推理、编码和视觉能力，可将概念、图像和视频转化为可完整运行的交互式体验。Kimi K3 通过在代码和实时截图之间无缝迭代，实现了真正的「视觉循环」。

完整技术博客见：