AI Pulse

9B的开源模型,24层跑两遍,推理按14.6B的深度算

9B的开源模型,24层跑两遍,推理按14.6B的深度算

10 月 30 日,SenseNova-Loop-9B-Preview 发布。循环多模态模型,瞄的是长上下文和智能体工作流。

输入文本和图像,输出文本。用在文档理解、编码,以及调用外部工具串起来的流程里。训练配方把长序列、多模态输入和监督任务轨迹放在一起,最大训练序列长度 262,144 个 token。图文混排的长文档不用先切段,一次进得去。这是它和短上下文模型最直白的区别。

24 层跑两遍

架构是循环解码器加双流流形约束超连接,简称 mHC。一段连续的解码层用共享权重执行两次。两条残差流之间的信息怎么走,由学到的映射管着。

数字拆开:24 个解码层按顺序应用两次,32 个不同层做出 56 次解码层执行。循环范围 [4, 28),跑 2 遍,权重共享;每次前向传播是 56 次解码层计算。

总参数约 9B,推理参数约 14.6B。存储按 9B 算,算力按更深的网络算。14.6B 是推理时的等效档位,不是说模型真有这么多参数。

mHC 里,Sinkhorn 归一化约束流混合映射,文档配置跑 20 次迭代。

注意力是混着用的。解码器按四层一个重复模式交替上线性注意力和全注意力:每组四层,三层线性,一层全。序列越长,省在三个线性层上的计算越多。全注意力头 16 个,KV 头 4 个。KV 缓存小,长上下文时的显存压力跟着降。

规格:隐藏维度 4096,前馈维度 12288,词表 248,320。现有导出精度是 BF16 骨干加 FP32 的 mHC 路由参数。

省的是显存,不是全部成本

存储参数少,服务商一张卡能多放几个模型,或者同样的硬件上开更长的上下文。这是 9B 这个数字的直接用处。但推理计算按 56 次执行算,量摆在那儿。省下来的是显存和存储,不是白拿。

模型支持 MTP 加速推理。Dspark 和 Dflash2 还在开发,训练进行中。实际能快多少,取决于工作负载、硬件和服务配置。

下载与部署

权重在 Hugging Face,许可证 Apache License 2.0。

循环范围、传递次数、mHC 路由参数是 checkpoint 执行配置的一部分。兼容的推理实现得加载这些参数,复现同样的执行顺序。拿一套通用代码直接加载,跑不出原来的效果。

已验证的推理环境是 Transformers 5.18.0、PyTorch 2.11.0、CUDA 13.0。模型目录要带上配置、分词器、聊天模板、模型代码和能访问到的权重分片。加载时 trust_remote_code=True 调起自定义的 SenseNova Loop 实现。

示例代码用贪心解码,最多生成 256 个新 token。设 enable_thinking=True 打开思考模式。简单问题直接答,复杂任务先想再答,开关在调用方手里。

部署列了三个框架,状态不一样。LightLLM 给了四 GPU、张量并行 4 的例子。SGLang 要用 PR #47281 里的版本。vLLM 要用 PR #64832,张量并行 4,bfloat16。后两个指向的都是 PR 里的代码,不是主线版本。服务商上线前,得先对上这两个补丁。

单节点 8 卡就能改

微调在单节点 8 GPU 上跑,用 OpenSenseNova/torchtitan 仓库里的脚本。训练指南覆盖配置选项、DPO 和 MTP 训练。要给模型配 DSpark 或 DFlash2 草稿模型,用 SenseSpec 仓库的脚本。同样单节点 8 GPU。

定制的门槛就压在这一档:一台八卡机。不用先攒一个集群。

官方展示的三个案例是动态设计、PPT 设计和数据分析,由 Raccoon Work 制作。都是办公产出,不是聊天问答。

还没填的空

技术报告是 TBD,Transformers 推理实现的发布细节待公布。262,144 是训练时的最大序列长度,推理时能不能撑住这个长度,没有单独交代。

关键事实

阅读原文
📚 相关主题 多模态大模型开源

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新