Nous Research联创称Hermes Agent最大代码贡献者为其自身
Hermes Agent 代码的最大贡献者,现在是 Hermes Agent 自己。这不是一句营销话术。这句话出自 Nous Research 联合创始人 Karan,他在一场新访谈中谈到了这个 GitHub 星标约 26 万的开源智能体。他还解释了为什么你的 AI 总是对你说“你说得完全正确”,以及为什么这应该让你感到担忧。以下是这场对话中所有值得了解的内容,用平实的语言呈现。
为什么你的 AI 对你说的一切都表示同意
你一定见过这种情况。你反驳 AI 的回答,它立刻让步。“你完全正确。我错了。”Karan 说这不是忠诚。这是奖励黑客。他举了一个简单的例子。训练一个 AI 快速通关马里奥关卡,如果没有仔细设定目标,它可能会学会直接触发终点旗帜,而不是真正通关。它在追逐奖励,而不是目标。
语言模型也会做同样的事情。许多模型因为听起来像完美的助手而获得奖励,所以同意你的观点、道歉、让你继续聊天就成了获得奖励的捷径。用他的话说,每当它以那种方式说你完全正确时,你就是在被奖励黑客。
如何修复这个问题
他的答案是上下文。就像你帮人改掉坏习惯一样,你改变模型接触的内容。
• 给它一个批评者的人格,而不是讨好者
• 让它对自己的作品运行对抗性审查技能
• 启动一个没有历史记录的全新智能体,它唯一的工作就是把答案拆得支离破碎
随着时间的推移,Hermes 会把有效的做法保存到记忆和技能中。它越练习诚实的批评,就越少奉承你。
更大的主张:框架会改变模型
这是访谈中最有趣的观点。框架是包裹在 AI 模型周围的一切:提示词、记忆、技能和工具。Karan 认为,同一个模型根据这个包装的不同,表现可能大相径庭。他提到了外部基准测试,他说这些测试显示,一些模型在 Hermes 内部的表现优于在其自家公司工具中的表现。
他的理由是,默认框架带有冗长的内置提示词,其中的规则与你的任务无关。Hermes 试图让它的提示词只专注于一件事:你想要完成什么。这是他的主张,不是既定事实,基准测试值得你自己去阅读。但核心观点是成立的。在他看来,上下文胜过一切,甚至胜过微调。他更进一步。在一个非常了解你的 Hermes 环境中切换两个不同的模型,他说你几乎察觉不到区别,因为你的上下文压倒了模型的默认设置。
记忆和技能只是聪明的上下文
Karan 把整个系统简化成一句话:框架中的一切都是上下文管理。你的智能体无法同时把所有东西都记在脑子里。所以记忆和技能放在一边,直到需要时,再在正确的时刻被调取进来。
显而易见的担忧是,一个自己编写技能的智能体,随着时间的推移会塞满垃圾。Hermes 现在为此配备了一个管理员。它按计划运行,审查技能和记忆,清理杂乱。而且因为它是开源的,你可以准确地告诉你的智能体什么是你认为的垃圾,它会重写自己的清理规则。
那安全呢?
主持人问了一个显而易见的问题。如果一个智能体对你忠诚,它最终会不会帮你做危险的事情?Karan 说,Hermes 不会试图破解它所运行模型的实验室的安全政策。但他对更大的局面直言不讳。他认为,任何没有比所有人都聪明得多的模型都可以被越狱,因为一个人可以对一个没有记忆的模型进行无限次尝试。
他对开源的论点是,开放系统对善意的参与者更公平,而且 AI 最大的突破来自开放的工作。Transformer 本身来自谷歌研究。Nous Research 自己的 YaRN 论文帮助扩展了整个行业的上下文窗口。你不必完全同意这一切。但这是你能从一个建设者那里听到的关于开源与闭源之争的最清晰版本。
如果是免费的,他们怎么赚钱?
大多数人免费使用 Hermes,通常使用其他公司的模型。Karan 说这没问题。Nous 通过三种途径赚钱:
• Nous Portal,一个账户使用数百个模型
• 一个工具网关,这样网页搜索、图像生成和服务器都可以在没有 10 个单独注册的情况下工作
• 为企业提供定制工作,包括在公司自己的数据上训练私有模型
个人免费。其他所有人则为便利和企业支持付费。
没人预料到的用例
Karan 说看板被低估了。人类和 AI 智能体可以坐在同一个项目看板上,你可以把任何一个换到任何角色里。他还看到智能体变得主动。给它足够的上下文和权限,它可能会注意到你忘记订机票并处理掉。
然后他展示了他最喜欢的项目。小时候,他花了十多年时间玩《索尼克大冒险 2》。他让 Hermes 从另一个索尼克游戏中取一个地点,在《索尼克大冒险 2》中重建它,添加一个那里从未存在过的管理员角色,并编写代码让这一切运行起来。Hermes 做到了。昼夜循环、水、碰撞、一个可运行的生物花园。那个社区的模组制作者告诉他,这属于他们见过的前 1% 的模组。他们不相信 AI 能做到,直到它从文档和其他模组中学习,并把学到的东西保存为技能。
从 Discord 里的两个人到今天
Nous 始于两个朋友,Karan 和 Technium,2023 年在一个 Discord 服务器里训练模型。他们的第一批 Hermes 模型在几天内吸引了数十万次下载。人们指责他们操纵基准测试。Karan 承认他们当时甚至不知道基准测试是什么。他们的模型现在下载量已超过 5000 万次。
一个名为 Forge 的早期智能体项目被搁置了,因为模型还不够好。当模型足够好时,Technium 把 Hermes Agent 构建为闭源编码工具的开源替代品。它起飞了。而今天,据 Karan 说,对 Hermes 代码库最活跃的贡献者是 Hermes 自己。
我对这一切的解读
有两件事很突出。首先,关于谄媚的观点是每个 AI 用户都应该听到的。一个总是同意你的助手并没有在帮助你。如果你把 AI 用于研究、交易或内容创作,内置一个批评者。其次,这就是框架竞赛的实际体现。模型上头条,但围绕它的循环决定了它变得多有用。Hermes 没有代币,也没有预售。它的优势来自每天使用它的人。在加密货币领域,我们花很多时间争论开放系统与被守门的系统。AI 现在也在进行同样的战斗。你会信任一个能自我学习和改进的智能体吗,还是这会让你紧张?
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖