hyperstition_cc 开源 Hypertune,推理成本比 LoRA 低 75%
第一部分:我们现在进入了超可组合性时代。大规模提供单独微调的模型,首次在经济上变得可行。而今天,我们将其全部开源。
我们现在可以提供异构批次的自定义微调,而不会产生 LoRA 每个矩阵的带宽开销。这使我们能够以经济高效的方式大批量提供服务,而不会因与默认模型用户在同一批次中共存而受到惩罚。
借助 Hypertune,我们解决了共存问题,并能够训练共存适配器。共存是指将独立训练的微调解构组合到一个模型中,而不会因适配器干扰导致能力退化。Hypertune 在 13 个领域的 RL 性能上进一步与 LoRA 相匹配,而参数数量减少了 100 到 500 倍。
在一个批次中提供异构 LoRA 微调的成本高得令人望而却步。每个微调变体都需要在每个矩阵上拥有自己的低秩适配器,并且仅用于少数几个 token,这导致了许多窄矩阵乘法和较差的利用率。
对于 MoE 来说,这种情况更加严重,因为适配器只有在 token 同时选择某个微调器和专家时才会启动。这种组合爆炸扼杀了微调/自定义模型快速推理的任何剩余前景。
Hypertune 引入了 soft prefill,一种经过训练的 KV 适配器。Soft prefill 可以使用 GRPO、SFT 或任何其他一阶方法进行训练。因此,Hypertune 规避了 LoRA 的开销,因为 soft prefill 完全存在于 KV 缓存中。这使我们能够通过将 soft prefill 前置到分页 KV 块中,轻松地将其集成到现有的服务堆栈中。
注意:使用 cartridges 进行上下文压缩需要大量合成生成的自学数据来进行上下文蒸馏。而 Hypertune 则支持多种基于梯度的方法,以实现更广泛的目标。
注意:与全参数 GRPO 的比较不是必需的,因为在 RL 下,LoRA 已经可以与之匹敌。@thinkymachines 的《LoRA Without Regret》发现,即使在非常小的秩(低至秩 1)下,LoRA 在 RL 中的表现也与全参数微调相当。
结论:我们的收益表明,离散提示留下了大量的上下文学习能力。这可能是因为 soft prompts 达到了任何 token 序列都无法表达的条件状态,或者是因为它们的连续参数化使得通过梯度下降更容易找到良好的条件状态(即使存在离散的等效物)。
公司和个人终于可以根据自己的私有数据对模型进行微调,使模型根据他们的需求进行超优化,而无需支付过高的费用(推理成本比 LoRA 低 75%)。
这是开源仓库:
第二部分将于本周晚些时候发布。
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖