AI Pulse
📡 X 信号

@madiator 开源 Bespoke Nimble 模型性能提至 90%

@madiator 开源 Bespoke Nimble 模型性能提至 90%

介绍 Bespoke Nimble:一款针对 open Jev 的开放数据、开放模型、开放方案。代码和信息:模型:数据:

* 一种叫做对比数据整理的新型数据整理方案。
* 通过轻微修改事实来生成负样本数据。这会推动模型更好地进行区分,成为更好的决策者。校准是隐式的。
* 我们没有做消融实验,但我认为这非常关键!
* 这也意味着训练数据不需要概率。
* 数据覆盖 10 个种类,完全是合成数据。
* 数据分为训练集和评估集。

训练
* 对 Qwen3.5-9B 进行 LoRA 微调。
* 无蒸馏:我们仅使用 Jev 进行评估。
* 尚未使用强化学习(RL)!

服务
* 采用 @NielsRogge 和 @harshagundal 建议的并行约束解码。

结果:
* 训练后的 Qwen(即 Nimble)在我们整理后的评估集上表现显著提升:Qwen 是 66%,Nimble 是 90%。Jev 是 93%。
* 在 H100 上推理耗时 100 毫秒,可在你的 macbook 上免费使用!免费体验 AGI。
* 公开开发历时 2 天。:)

需要特别说明的是,目前没有标准基准来衡量性能,和 Jev 相比,Nimble 在其他基准上的表现可能差很多。但它应该比 Qwen 更好!

我们感谢 @typesafeai 制作了 Jev,也感谢社区里启发灵感的讨论。希望这次发布能让各方受益,鼓励这个领域更多研究和活动。

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新