2.8万亿参数模型压缩到1.4TB，中型企业也能自建AI服务

2026年7月16日，Moonshot AI 发布了 Kimi K3，并承诺7月27日开放全部权重。这是首个达到3万亿参数级别的开源模型——实际参数2.8万亿，采用混合专家（MoE）架构，每token激活16个专家，共896个专家。

基准测试上，K3在数学和编程上表现突出。GPQA-Diamond得分93.5%，MMMU-Pro 81.6%，MathVision 94.3%。持续编程测试中，SWE Marathon和Program Bench上K3领先所有模型——这得益于100万token的上下文窗口，能一次性理解整个代码仓库。深层次代码任务的具体成绩：DeepSWE得分67.5%，FrontierSWE 81.2%，Terminal-Bench 2.1达到88.3%（仅比GPT-5.6 Sol低0.5个百分点）。Program Bench 77.8%（最佳），SWE Marathon 42.0%（最佳）。BrowseComp得分91.2%，DeepSearchQA F1为95.0%。

但K3并非全面碾压。综合推理测试GDPval-AA v2上，K3得分1687，落后于Fable 5 Max的1815和GPT-5.6 Sol Max的1747.8，但高于Opus 4.8的1600。

部署门槛大幅降低

大模型吃硬件。K3的2.8万亿参数如果以FP16存储需要约5.6TB。Moonshot用了MXFP4权重量化和MXFP8激活量化，而且量化感知训练从监督微调阶段就开始，不是训练后再量化。这样权重存储降到约1.4TB，压缩了4倍。自托管K3至少需要8节点集群（每节点8块80GB GPU），总显存5.12TB——这个门槛对中型企业或研究机构来说已经不是天堑。Moonshot的Mooncake分离式推理基础设施在编码工作负载上达到了90%缓存命中率，运行成本也下降了。

能力亮点与已知短板

100万token上下文窗口是K3的另一大亮点——整本书或整个代码仓库可以一次性输入，模型不会忘记开头，回答更连贯。API定价也很激进：缓存输入只要0.30美元/百万token，适合高频调用。

K3还引入了多项架构创新：Kimi Delta Attention (KDA)、Attention Residuals (AttnRes)、Stable LatentMoE。MoE框架包含潜在空间路由、分位数均衡和软丢弃机制。训练使用了Per-Head Muon优化器、Sigmoid Tanh Unit (SiTU)激活函数和Gated MLA。

不过Moonshot也承认K3有三个不足：思考历史敏感（对思维链的依赖可能影响稳定），过于主动（有时未经用户确认就输出操作），以及用户体验落后于Claude Fable 5和GPT-5.6 Sol。如果你追求自然对话，K3可能不是首选；但如果你需要强大的推理和编程能力，它很有竞争力。