智谱内部 GLM-Omni 首次公开，图文对齐后准确率翻倍

🤯我靠！智谱Zai创始人唐杰署名新论文直接曝光智谱内部统一多模态模型「GLM-Omni」！GLM-5.4/5.5 剑已出鞘！

智谱已在内部训练出能同时理解和生成的统一模型，并拿它做了知识互通实验。

GLM-Omni核心信息：
🔹论文《Can Visual Generation Expand What Unified Multimodal Models Know?》，通讯作者唐杰，三位一作均为智谱实习生。
🔹GLM-Omni基于GLM-4.1V-Thinking预训练基座初始化，采用离散图像tokenizer，是智谱内部的统一多模态模型。
🔹论文中与BAGEL、SenseNova-U1一同被测试，首次对外公开。

关键实验结果：
1️⃣通过图像生成训练，模型能学到只存在于图片中的新知识，但直接迁移到纯文字回答能力有限。
2️⃣采用交错图文对齐后，GLM-Omni平均准确率从12.57%提升到26.86%。
3️⃣消融实验：取消图像部分训练损失后，准确率大幅下降至13.71%，证明视觉生成监督对知识获取至关重要。
4️⃣模型经常能正确生成包含知识的图片，却难以用语言准确表达，视觉与语言知识仍存在明显鸿沟。

这不是普通论文，而是智谱内部统一多模态方向的一次实质推进。

论文链接： #智谱 #GLMOmni #唐杰 #统一多模态 #大模型 #AI论文 #内部模型 #Zai #Zcode #GLM45