AI Pulse

Inkling 2 Small开源,594B参数个人电脑却跑不动

闭源一周之后

11 月 12 日,Inkling 2 Small 的模型权重出现在 Hugging Face 上,许可证是 Apache 2.0。距离它首次发布大约一周。

模型最初以闭源权重形式在 Tinker 上线,同时做外部安全测试和红队测试。测试走完,权重才放开。Thinking Machines Lab 把这套流程叫“安全开放权重路径”:先闭源上线,外部审查结束后再开放。

这套流程该不该成为前沿开放权重模型的常规做法,还没有答案。一周的闭源期换来的安全性,和它把社区本来能更快完成的压力测试推迟一周的代价,两笔账不好算。这两个问题是 TML 自己在公告里提出来的。

强在哪

TML 说这个模型在代理编码、视觉和 3D 设计上表现突出。在 DesignArena 的开源权重模型排名里,它排第一;在 Artificial Analysis Intelligence Index 上,TML 报告它得 31 分。

模型支持图像输入,也支持可变努力——推理时按任务难度调整投入的算力。

DesignArena 的名次说明的是它在那个评比里的位置。真实的 3D 设计任务里它是否同样领先其他开源模型,目前只有这一个排行榜作证。

594B 总参数,17B 激活

Inkling 2 Small 是混合专家模型,总参数 594B,激活参数 17B。

混合专家的结构可以这样理解:模型内部有很多分工不同的子网络,每次推理只调用其中被选中的一小部分。实际参与计算的是 17B,远小于总数。但权重文件本身是完整的 594B,部署时得把整个模型装进机器。

下载免费,跑起来不免费,原因就在这里。个人电脑很难承载这样的权重。具体要什么硬件、跑一次花多少,TML 没有说明。

用不上就调接口

自己部署之外,还有别的路。模型已集成 SGLang、vLLM 和 Unsloth,可以走这几套推理框架本地起服务——前提还是得有那台机器。

更轻的方式是 API。NVIDIA、Fireworks、Together、Baseten、Nebius、Modal 和 Cloudflare 都提供调用入口。没有高端硬件的开发者,接入这些平台就能在自己的应用里用上模型能力,不用自己维护权重。

许可证与算力

Apache 2.0 允许商用、修改和再分发,法律层面给得很宽。但 594B 的总参数摆在那里:许可证决定你能拿它做什么,算力决定你能不能让它跑起来。

当权重大到多数人只能租机器来跑时,宽松许可证的实际价值要打折扣。反过来说,如果模型只打算通过 API 使用,许可证条款对终端开发者的影响也有限。

TML 在公告里自己提了这个问题:594B 参数当前,Apache 2.0 许可证相对于运行所需算力,到底有多重要。公告没有给出答案。

关键事实

阅读原文
📚 相关主题 开源大模型

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新