@a1zhang 及合作者发布《LM Harnesses are Compositional Generalizers》论文
过去,脚手架是弱版大模型的拐杖。到了 2026 年及以后,随着模型越来越强,脚手架反而成了一种机制,用来把大模型已有的和新的能力组合起来,让泛化能力远远超出训练环境。
在我们的新论文《语言模型脚手架是组合式泛化器》中,我们探讨了各种脚手架抽象如何通过组合大模型已有能力,让语言模型系统在任务长度、任务策略、递归任务深度等维度上实现泛化。
这些抽象提供了一种数据效率更高的训练方式,尤其适用于长任务,方法是让轨迹保持局部在分布内(LID)——也就是把每一次大模型调用都塑造成在分布内的状态。
对于那些需要很长时间才能跑完的任务,这意味着我们甚至可以进行代理脚手架训练,也就是说,我们不去跑很长的脚手架流程,而是只训练单次大模型调用,完全使用合成任务,配合假的工具调用和子智能体。
现在流行一种说法,认为大模型会把脚手架吸收掉,让它变得多余。我们不同意这个观点,我们认为脚手架能提供什么,我们还远远没有充分探索。
完整论文、日志、代码库和数据都已公开:https://www.alphaxiv.org/abs/2611.harness-cg 合作者 @SOURADIPCHAKR18 @lateinteraction
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖