34处编辑加6个对照全无变化,读自己权重的大模型却频繁预测有变
想给大模型做个小改动,看看它带来什么反应,常规做法是改完再跑一遍。这组实验换了个思路:让 LLM 直接翻原始权重,不运行目标模型,只靠读参数来预测权重编辑会带来什么行为变化。测试用的是 Qwen 和 Muse 系列,参数规模 9B 到 30B。
先看数字。Qwen 27B 拿到权重访问权时,对细微编辑的平衡准确率是 73.0%;同一个模型只读文本描述,掉到 57.8%。权重访问带来的提升,肉眼可见。
但作者没能确立一个结论:模型读自己的权重,有决定性优势。模型对自己参数的自我检视,并没有表现出比外部观察者更强的本事。
Muse-30B 那组更能看出问题。34 个标准编辑加 6 个无操作对照,全部没有可检测的行为变化;做权重读取的代理却频繁预测出变化。实际什么都没发生,预测全说发生了。
这些预测里,有多少是代理在脑补,有多少是检测方法不够灵敏、漏掉了细微变化,目前分不清。两种情况都会让结果像是预测得准或者错得离谱,作者没给区分方法。
对做模型调优的人来说,这点很现实:拿这种预测当依据,自信但错误的判断会把调优方向带偏,往往跑完才发现。
作者把评估工具和实验代码放了出来,还有一套基于 LLM 的权重空间编程与读取工具包。代码在 GitHub 的 suayptalha/wsr 仓库,论文挂在 alphaxiv.org。作者公开征求评估设计反馈,特别点名想听正在做开源权重模型实验的人的意见。
公开的评估设计还有空白:73.0% 的平衡准确率对应什么基线、统计上显不显著,没交代;wsr 工具包能干什么、小团队能不能直接上手,也说得含糊。测试只覆盖 9B–30B,更大参数规模的模型表现如何,眼下没有数据。读自己权重为何没有决定性优势,是架构限制还是训练目标不匹配,同样没有答案。
评论区有条高票提问,把方向推到了下一步。在受限沙箱环境里用微调或强化学习,训练一个会改权重的 LLM,用来提升数学、代码这类特定领域的表现。提问还加了个条件:这套做法要能泛化到 Gemma、Qwen、LFM 这些开源架构上。会发生什么?这个问题从“事后预测编辑效果”跳到了“主动训练模型改权重”。能不能做成,眼下没有定论。
关键事实
- 作者用Qwen和Muse系列模型(9B–30B参数规模)进行权重空间读取实验。
- 实验目标是让LLM检查原始模型权重,并在不运行目标模型的情况下预测权重编辑的行为效果。
- Qwen 27B在有权重访问权限时,对细微编辑的平衡准确率达到73.0%。
- 同一模型仅凭文本描述时,平衡准确率为57.8%。
- 作者未能确立模型读取自身权重具有决定性优势。
- 在Muse-30B上,34个标准编辑和6个无操作对照未产生可检测的行为变化。
- 尽管Muse-30B编辑无实际行为变化,权重读取代理却频繁预测出变化。
- 作者发布了论文的评估工具和实验代码。