1B参数AI模型能跑在你的个人电脑上,不用再等云端
Sapient_Int 昨天上线了一个叫 HRM-text 的模型,1B 参数,你可以直接下载到本地运行,不用再排队等云端 API。
硬件门槛低
这个模型单个 GPU 就能跑。对比之下,主流大模型往往需要多卡甚至集群。Sapient 说 HRM-text 不需要那么多 GPU 和 token,也就是说,个人开发者或小团队可以花更少的钱拥有自己的本地 AI。
而且你可以微调它——数据留在自己机器上,对隐私敏感的场景特别有用。
与主流模型对比
Sapient 说,如果你常用 ChatGPT 或 Claude,用这个模型会觉得很不一样。而且它 token 用得少,不用担心上限。但到底哪里不一样?是推理风格还是响应质量?他们没有细说。
开放疑问
目前没有公开的基准测试,不清楚它和 GPT-3.5 或 Claude 比到底怎么样。是否开源、许可证、单个 GPU 的最低配置、上下文长度、训练数据来源……这些都没说。
它不支持多模态,也没有声称超越 GPT-4 或 Claude 3。你得在自己的硬件上试试才知道。