AI Pulse
🔥 热点深度解读

5人团队从零训练65B模型,打赢千亿参数巨头

在大模型的世界里,参数规模一直被视为硬实力的象征——动辄千亿、万亿的参数量,似乎成了衡量模型能力的默认标尺。但最近,一支小团队用实际行动打破了这个刻板印象。

RicursiveAI 正式发布了 Ripple-65B Preview,这是一款由核心团队仅 5 名研究人员从零开始预训练的 65B 稠密大语言模型(dense LLM,指所有参数在每次推理中都参与计算的模型架构)。在 Terminal-Bench 2.1 智能体编码基准测试中,它刷新了美国开放权重模型的最优成绩,显著超越了 Muse Spark Open-816B、Beam-501B、Inkling-975B、Nemotron 3 Ultra-550B 等参数量大出数倍的模型。

@talaei_shayan 作为团队成员表示,能从零训练出这样一款模型并取得成绩,整个团队都非常兴奋。@luoluo_ai 则回忆道,今年二月他写下第一行优化器和数据混合实验的代码,整个过程像一场疯狂的旅程。

Terminal-Bench 是一个开源基准测试,专门衡量 AI 智能体在命令行环境中完成编译代码、训练小模型、配置服务器、调试、系统管理等复杂真实任务的能力。每个任务都在带有自然语言指令的隔离 Docker 沙箱中运行。在这个测试中表现优异的模型,通常在其他基准测试和实际应用中也表现良好。

这一结果传递出一个清晰的信号:在智能体编码这类需要实际动手能力的任务上,模型的架构设计、训练数据的质量与混合策略、优化器的选择,可能比单纯堆砌参数量更重要。对于那些没有能力组建数百人团队、投入海量算力的中小团队和研究机构来说,这是一个值得参考的路径。

不过,65B 参数的模型在推理成本上仍然不低,普通开发者能否方便地部署和使用它,还需要看后续的开源策略和社区支持。小团队的胜利固然令人振奋,但从实验室到日常可用,中间还有一段路要走。

📎 参考来源

查看原始推文

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新