@madiator 开源 Bespoke Nimble 模型性能提至 90%
介绍 Bespoke Nimble:一款针对 open Jev 的开放数据、开放模型、开放方案。代码和信息:模型:数据:
* 一种叫做对比数据整理的新型数据整理方案。
* 通过轻微修改事实来生成负样本数据。这会推动模型更好地进行区分,成为更好的决策者。校准是隐式的。
* 我们没有做消融实验,但我认为这非常关键!
* 这也意味着训练数据不需要概率。
* 数据覆盖 10 个种类,完全是合成数据。
* 数据分为训练集和评估集。
训练
* 对 Qwen3.5-9B 进行 LoRA 微调。
* 无蒸馏:我们仅使用 Jev 进行评估。
* 尚未使用强化学习(RL)!
服务
* 采用 @NielsRogge 和 @harshagundal 建议的并行约束解码。
结果:
* 训练后的 Qwen(即 Nimble)在我们整理后的评估集上表现显著提升:Qwen 是 66%,Nimble 是 90%。Jev 是 93%。
* 在 H100 上推理耗时 100 毫秒,可在你的 macbook 上免费使用!免费体验 AGI。
* 公开开发历时 2 天。:)
需要特别说明的是,目前没有标准基准来衡量性能,和 Jev 相比,Nimble 在其他基准上的表现可能差很多。但它应该比 Qwen 更好!
我们感谢 @typesafeai 制作了 Jev,也感谢社区里启发灵感的讨论。希望这次发布能让各方受益,鼓励这个领域更多研究和活动。
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖