OVH 发布首款开源大模型 Olala mini 7A1B,普通 GPU 就能跑
OVH 发布 Olala mini 7A1B,这是其首个 LLM 模型家族。作为该家族的首个代表,Olala mini 是一款基于全新架构构建的紧凑型模型。
Olala:采用混合注意力机制的创新模型
Olala mini 基于 70 亿参数(7B)架构,其中每层 256 个专家中仅激活 10 亿参数,采用 Differential-TPA 与 Mamba-3 混合注意力机制,BF16 格式。每次请求仅调用模型的一小部分,使其速度更快、内存占用更低。直接结果是:该模型可在最低配备 8GB 显存的 GPU 上运行,在 RTX A4500 上达到每秒 160 tokens,甚至在没有 GPU 的情况下,仅用普通处理器也能达到每秒 50 tokens。其上下文窗口目前达到 32000 tokens。
Olala mini 将在 Hugging Face 上以 Apache 2.0 许可证开源发布。
在欧洲公共资金支持下训练,已在 Qwant 投入运行
Olala mini 在三台欧洲公共超级计算机 Jupiter、MeluXina 和 Jean Zay 上完成训练,这些设备配备了 GH200、A100 和 H100 GPU。这项支持相当于 700 万欧元的计算时长,起到了决定性作用,OVH 在此向相关政府部门表示感谢。这项公共举措在多个方面取得了成功:它催生了一支卓越的人工智能团队,并促成了 OVH 的 Agentic 实验室:OVHai LLM。
Olala mini 发布时将附带其权重、预训练基础模型、技术报告以及符合 AI 法案的合规文档。Qwant 已将其用于快速回答功能,并取得了显著成效:与之前使用的模型相比,回答速度提升 20%,运行成本降低至原来的三分之一。
迈向 v1.1,再到 v2.0
预计在今年年底前发布的 1.1 版本将把上下文窗口扩展至 128000 tokens,并提升其数学推理性能。通过 2.0 版本,OVHai LLM 计划开发专注于三个领域的专用模型。首先是企业级智能体应用:最终,Olala 将为 OVHai Workspace 提供支持,其加密版本需要能够直接在工作站本地运行的模型。其次是云 DevOps,将推出面向开发者、架构师以及负责 24/7 服务连续性的运维团队的适配版本。最后是网络安全,涵盖防御和攻击两个层面。Olala v2.0 的参数量将超过 1000 亿。
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖