不是所有场景都需要最顶尖的大模型
不是所有事情都需要前沿模型。举个例子,开源模型非常适合用来做自动化。如果你还不确定该从哪里开始用开源模型,那就从自动化入手吧。
这是我做出的最重大改变之一,它让我很大一部分令牌用量都转移到了本地或开源模型上。我的绝大部分自动化都是由自我调优技能驱动的重复任务。这些技能转化为实用的自动化,在这些开源模型上运行效果非常好。
我甚至都不需要调优模型,但对于更复杂的任务,调优也是我目前正在探索的一个选项。技能本身基本上就能处理好调优工作。这套方案能行得通,靠的就是这些模型的上下文学习能力。
如果你不做自动化,可能很难体会到这一点。但我强烈建议你从某个地方开始尝试。除了能得到效率更高的自动化之外,我还成功大幅降低了成本。
然后我就把省下来的额外预算,用来给其他创意性和研究密集型任务调用闭源前沿智能了。没错!我同时使用闭源和开源前沿智能。这和厂商忠诚度无关,这关乎利用所有领域的长处。
我大力倡导的一件事,就是自己掌控适配层和模型,我认为这套做法能让我更好地接入各种类型的智能(开源与闭源)。现在说这个可能还太早,但我猜测,当AI投资回报率成为讨论核心后,这会成为行业最佳实践。
模型路由解决不了这个问题。这件事需要你自己做繁琐的工程、评估和决策。如果你在开发自己的适配层,你就掌握了主动权,能对这个重要决策拥有更多控制权。
这就是为什么我坚信,公司会开始快速招聘适配层工程师。我给大家分享一个小例子,就是我每天用来追踪HN上AI热门故事的自动化。我还有一堆类似的自动化,用于不同信息源,比如arXiv、X等等。
我还会用它来做一些主动代理会话,追踪我开发项目周边的重要事件。这类工作根本不需要前沿智能。
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖