9B的开源模型,24层跑两遍,推理按14.6B的深度算
10 月 30 日,SenseNova-Loop-9B-Preview 发布。循环多模态模型,瞄的是长上下文和智能体工作流。
输入文本和图像,输出文本。用在文档理解、编码,以及调用外部工具串起来的流程里。训练配方把长序列、多模态输入和监督任务轨迹放在一起,最大训练序列长度 262,144 个 token。图文混排的长文档不用先切段,一次进得去。这是它和短上下文模型最直白的区别。
24 层跑两遍
架构是循环解码器加双流流形约束超连接,简称 mHC。一段连续的解码层用共享权重执行两次。两条残差流之间的信息怎么走,由学到的映射管着。
数字拆开:24 个解码层按顺序应用两次,32 个不同层做出 56 次解码层执行。循环范围 [4, 28),跑 2 遍,权重共享;每次前向传播是 56 次解码层计算。
总参数约 9B,推理参数约 14.6B。存储按 9B 算,算力按更深的网络算。14.6B 是推理时的等效档位,不是说模型真有这么多参数。
mHC 里,Sinkhorn 归一化约束流混合映射,文档配置跑 20 次迭代。
注意力是混着用的。解码器按四层一个重复模式交替上线性注意力和全注意力:每组四层,三层线性,一层全。序列越长,省在三个线性层上的计算越多。全注意力头 16 个,KV 头 4 个。KV 缓存小,长上下文时的显存压力跟着降。
规格:隐藏维度 4096,前馈维度 12288,词表 248,320。现有导出精度是 BF16 骨干加 FP32 的 mHC 路由参数。
省的是显存,不是全部成本
存储参数少,服务商一张卡能多放几个模型,或者同样的硬件上开更长的上下文。这是 9B 这个数字的直接用处。但推理计算按 56 次执行算,量摆在那儿。省下来的是显存和存储,不是白拿。
模型支持 MTP 加速推理。Dspark 和 Dflash2 还在开发,训练进行中。实际能快多少,取决于工作负载、硬件和服务配置。
下载与部署
权重在 Hugging Face,许可证 Apache License 2.0。
循环范围、传递次数、mHC 路由参数是 checkpoint 执行配置的一部分。兼容的推理实现得加载这些参数,复现同样的执行顺序。拿一套通用代码直接加载,跑不出原来的效果。
已验证的推理环境是 Transformers 5.18.0、PyTorch 2.11.0、CUDA 13.0。模型目录要带上配置、分词器、聊天模板、模型代码和能访问到的权重分片。加载时 trust_remote_code=True 调起自定义的 SenseNova Loop 实现。
示例代码用贪心解码,最多生成 256 个新 token。设 enable_thinking=True 打开思考模式。简单问题直接答,复杂任务先想再答,开关在调用方手里。
部署列了三个框架,状态不一样。LightLLM 给了四 GPU、张量并行 4 的例子。SGLang 要用 PR #47281 里的版本。vLLM 要用 PR #64832,张量并行 4,bfloat16。后两个指向的都是 PR 里的代码,不是主线版本。服务商上线前,得先对上这两个补丁。
单节点 8 卡就能改
微调在单节点 8 GPU 上跑,用 OpenSenseNova/torchtitan 仓库里的脚本。训练指南覆盖配置选项、DPO 和 MTP 训练。要给模型配 DSpark 或 DFlash2 草稿模型,用 SenseSpec 仓库的脚本。同样单节点 8 GPU。
定制的门槛就压在这一档:一台八卡机。不用先攒一个集群。
官方展示的三个案例是动态设计、PPT 设计和数据分析,由 Raccoon Work 制作。都是办公产出,不是聊天问答。
还没填的空
技术报告是 TBD,Transformers 推理实现的发布细节待公布。262,144 是训练时的最大序列长度,推理时能不能撑住这个长度,没有单独交代。
关键事实
- 2026年10月30日发布 SenseNova-Loop-9B-Preview,一个面向长上下文和智能体工作流的循环多模态模型。
- 模型接受文本和图像输入,输出文本,用于文档理解、编码和与外部工具交互的应用。
- 架构核心是循环解码器加双流流形约束超连接(mHC):一段连续解码层用共享权重执行两次,学习到的映射管理两条残差流之间的信息流动。
- 训练配方结合长序列、多模态输入和监督任务轨迹,最大训练序列长度为262,144个token。
- 24个解码层按顺序应用两次,从32个不同层产生56次解码层执行。
- 解码器以四层为重复模式交替使用线性注意力和全注意力:每组四层中三层线性注意力加一层全注意力。
- 模型总参数约9B,推理参数约14.6B。
- mHC使用Sinkhorn归一化约束流混合映射,文档配置使用20次迭代。