8亿参数小模型干翻了56亿参数的GPT
企业给日常业务找AI工具时,往往总想着挑参数最大、名气最响的通用大模型。
最近电商平台Shopify的机器学习团队公布了一项测试结果:他们只给0.8B(也就是8亿)参数的小型语言模型,用特定任务的数据做了微调,结果在这个专门任务上,性能超过了GPT 5.6-sol xhigh(56亿参数的GPT模型)。
这件事不是个例。已有研究对287个实际应用案例做统计后发现,只要是定义清晰的特定领域任务,经过微调的小型模型,性能普遍比通用大模型更好。同时它还能降低推理成本、减少响应延迟,开发者还可以完整查看模型的思考过程。
@tobi 认为:只要有好的自改进递归飞轮(一种可以让模型持续自我优化的循环机制),为特定场景训练小模型的效果会非常好。
@ivan_bezdomny 提到:我们训练专用小模型不只是因为成本更低,它在专项任务上的表现本身就比Claude和GPT更好,速度还更快。
@omarsar0 指出:这是定制化前沿智能时代的早期信号,等整个行业都发掘出定制模型的潜力和指数级应用空间,会迎来非常大的变化。
Gartner预测,到2027年,企业对小型语言模型的使用量会达到通用大语言模型的三倍。对普通商家和开发者来说,这意味着不用再为大模型的通用能力支付额外成本,也不用把自己的业务数据上传给第三方大模型,就能拿到效果更好的AI服务。
拥有自己专属的AI能力,门槛正在变得越来越低。
接下来,通用大模型会只留在需要跨界综合能力的场景里吗?