Zhipu AI（智谱AI）与清华大学发布统一多模态记忆研究论文(12.57%)

🚨 突发新闻：GLM 5.4 或 5.5，可能是 GLM Omni！智谱 AI 与清华大学通过突破性的统一记忆研究重新定义多模态智能！🚨

智谱 AI 和清华大学的团队再次证明了他们为何能树立行业标杆，并在开源 AI 革命的前沿引领潮流。在一篇新发布的具有里程碑意义的论文中——由李文凯、洪文义、杨卓毅和唐杰撰写——该团队回答了下一代前沿架构中最关键的问题之一：“视觉生成能否扩展统一多模态模型的知识边界？”

🔗 论文链接：
📰 研究发现：弥合“模态失语”鸿沟

传统 AI 将视觉生成视为下游的美学输出。该研究颠覆了这一认知，证明图像生成实际上是扩展模型核心潜在记忆的主要知识渠道。

研究人员使用了一种名为知识迁移探测（KTP）的严格新基准测试协议，严格通过图像生成任务向模型传授全新的事实概念。虽然模型最初表现出“模态失语”——这是一种引人入胜的现象，即模型可以在像素层面完美绘制复杂概念，却难以用纯文本表达——但该团队揭示了解决这一问题的精确蓝图：

1. 交错图文对齐：将生成、视觉观察和文本推理整合到一个流畅的 token 流中，不仅能提高召回率，还能将基于文本的问答准确率提高一倍以上（在 GLM-Omni 上将基准分数从 12.57% 提升至 26.86%）！

2. 隐式跨实体泛化：在少量视觉实体上训练模型，无需直接的问答监督，即可引导模型召回同一类别中完全未见过的实体。

🏆 为何持续引领开源

当其他实验室将其基础研究锁在门后时，智谱 AI 和清华大学继续公开真实、根本性的突破。通过将生成与理解视为一个单一的、相互强化的认知循环，他们不仅仅是在构建模型——他们正在为真正的原生多模态编写路线图。

热烈祝贺李文凯、洪文义、杨卓毅和唐杰在开放科学和架构创新方面再次献上大师级作品！GLM 系列继续向整个行业展示基础模型的未来方向 🚀⚡️

@Zai_org 真的需要 @MiaAI_lab 和 @ashxhart @JoshuaSWarren @petruspennanen 获得 GLM Omni 的早期访问权限，以便为 Sparks 和 Mac Studio 提供零日支持！！！

#AI #机器学习 #GLM #开源 #深度学习 #智谱AI #多模态 #arXiv