AI Pulse
📡 X 信号

LysandreJik 团队提出 harness adapters:给同一个模型配不同小 LoRA 适配不同智能体框架

LysandreJik 团队提出 harness adapters:给同一个模型配不同小 LoRA 适配不同智能体框架

我们一直在努力让模型更好地适配各类运行框架。@yb2698 发现的最有效的方法是“框架适配器”。在实际使用的智能体框架内,通过强化学习训练小型 LoRA。基础模型相同,但针对 pi、opencode、hermes 等不同框架使用不同的适配器。

为什么这样做?原因很简单,同一个模型在不同的工具、提示词和控制流下表现会大不相同。与其让一组权重在所有场景下都达到最优,不如针对每个环境对模型的一小部分进行专门优化。

早期结果相当令人鼓舞:在留出任务上,适配器比基础模型发起的工具调用更少,同时保持或提升了准确率。而且因为它们是 LoRA,实际运行成本也低得惊人。在一个 LFM2.5-24B-A2B 实验中,我们在单张 H200 上用不到一小时评估了 9 个检查点 / 1350 个智能体会话。总成本:约 5 美元!如果将每个检查点单独合并并部署,成本大约是 90 美元。

还有一个重要的部分:强化学习智能体最终会试图钻奖励函数的空子。因此,每次工具调用都会经过 `safeagents`,这是一个基于确定性规则的防护机制,会在执行前拦截诸如修改测试、篡改奖励或绕过沙箱之类的行为。

整个循环可以从真实使用场景开始:你的编程会话 -> 可验证的环境 -> 强化学习 -> 为你的智能体生成更好的适配器。模型不必彻底改变。有时候,它只需要更好地适应它实际所处的框架。

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新