AI Pulse
📡 X 信号

@a1zhang 及合作者发布《LM Harnesses are Compositional Generalizers》论文

过去,脚手架是弱版大模型的拐杖。到了 2026 年及以后,随着模型越来越强,脚手架反而成了一种机制,用来把大模型已有的和新的能力组合起来,让泛化能力远远超出训练环境。

在我们的新论文《语言模型脚手架是组合式泛化器》中,我们探讨了各种脚手架抽象如何通过组合大模型已有能力,让语言模型系统在任务长度、任务策略、递归任务深度等维度上实现泛化。

这些抽象提供了一种数据效率更高的训练方式,尤其适用于长任务,方法是让轨迹保持局部在分布内(LID)——也就是把每一次大模型调用都塑造成在分布内的状态。

对于那些需要很长时间才能跑完的任务,这意味着我们甚至可以进行代理脚手架训练,也就是说,我们不去跑很长的脚手架流程,而是只训练单次大模型调用,完全使用合成任务,配合假的工具调用和子智能体。

现在流行一种说法,认为大模型会把脚手架吸收掉,让它变得多余。我们不同意这个观点,我们认为脚手架能提供什么,我们还远远没有充分探索。

完整论文、日志、代码库和数据都已公开:https://www.alphaxiv.org/abs/2611.harness-cg 合作者 @SOURADIPCHAKR18 @lateinteraction

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新