大模型终于学会自己整理思路了
微软新提的MEMENTO,说白了就是教大模型别把脑子当草稿纸乱写。以前动不动就堆出32K token的思维链,跟饭馆点菜写满三页纸一样——看着热闹,其实自己都找不到重点。
它不靠外部工具剪上下文,也不靠人手写提示词硬掰。模型在训练时自己琢磨:哪段该收尾,哪句得存档。这就像打游戏时自动存关键进度,而不是等死机了才后悔没手动保存。
论文和数据集已经放出来了,谁都能跑跑看。我试了下配套demo,分段逻辑还真有点像人脑整理笔记——不是全记,但关键推导没丢。
能不能真扛住复杂任务,还得看模型是不是每次都知道“该停笔”和“该标星”。不过至少,这事从调提示词的玄学,变成了改模型架构的实活。牛皮吹爆了也没用,得看它自己会不会记事儿。