AI Pulse

34处编辑加6个对照全无变化,读自己权重的大模型却频繁预测有变

想给大模型做个小改动,看看它带来什么反应,常规做法是改完再跑一遍。这组实验换了个思路:让 LLM 直接翻原始权重,不运行目标模型,只靠读参数来预测权重编辑会带来什么行为变化。测试用的是 Qwen 和 Muse 系列,参数规模 9B 到 30B。

先看数字。Qwen 27B 拿到权重访问权时,对细微编辑的平衡准确率是 73.0%;同一个模型只读文本描述,掉到 57.8%。权重访问带来的提升,肉眼可见。

但作者没能确立一个结论:模型读自己的权重,有决定性优势。模型对自己参数的自我检视,并没有表现出比外部观察者更强的本事。

Muse-30B 那组更能看出问题。34 个标准编辑加 6 个无操作对照,全部没有可检测的行为变化;做权重读取的代理却频繁预测出变化。实际什么都没发生,预测全说发生了。

这些预测里,有多少是代理在脑补,有多少是检测方法不够灵敏、漏掉了细微变化,目前分不清。两种情况都会让结果像是预测得准或者错得离谱,作者没给区分方法。

对做模型调优的人来说,这点很现实:拿这种预测当依据,自信但错误的判断会把调优方向带偏,往往跑完才发现。

作者把评估工具和实验代码放了出来,还有一套基于 LLM 的权重空间编程与读取工具包。代码在 GitHub 的 suayptalha/wsr 仓库,论文挂在 alphaxiv.org。作者公开征求评估设计反馈,特别点名想听正在做开源权重模型实验的人的意见。

公开的评估设计还有空白:73.0% 的平衡准确率对应什么基线、统计上显不显著,没交代;wsr 工具包能干什么、小团队能不能直接上手,也说得含糊。测试只覆盖 9B–30B,更大参数规模的模型表现如何,眼下没有数据。读自己权重为何没有决定性优势,是架构限制还是训练目标不匹配,同样没有答案。

评论区有条高票提问,把方向推到了下一步。在受限沙箱环境里用微调或强化学习,训练一个会改权重的 LLM,用来提升数学、代码这类特定领域的表现。提问还加了个条件:这套做法要能泛化到 Gemma、Qwen、LFM 这些开源架构上。会发生什么?这个问题从“事后预测编辑效果”跳到了“主动训练模型改权重”。能不能做成,眼下没有定论。

关键事实

阅读原文
📚 相关主题 大语言模型开源

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新