NVIDIA 论文介绍 LoGRA 训练方法省显存

这是一篇推荐给大家的、关于训练后记忆高效强化学习的NVIDIA论文。这是一种针对大语言模型强化训练扩展非常有意思的技术。

核心结论是：你可以用强化学习更新模型的全部权重，同时显存占用还比LoRA更低。在1.5B参数模型上，LoGRA平均训练显存占用是7.2 GiB，而秩为256的LoRA需要13.2 GiB。

Pass@4准确率两者大致相当（81.8%对比81.4%），Pass@1准确率低约2个百分点。如果你因为GPU显存不足，无法在更大的模型上运行强化学习，这个方法值得一看。

LoGRA不会为它压缩的权重矩阵构建完整梯度。随着微批次累计，每个权重梯度会用秩-256随机投影压缩，每步都会重新绘制投影矩阵，然后从两个小矩阵重建更新。

每一步开始前，它会预测策略的变化幅度，并缩放步长以保持在KL散度预算内。在7B参数模型上，单GPU平均训练显存降低45.7%（从31.8 GiB降到17.3 GiB），峰值准确率接近全参数Adam（Pass@1为72.3%对比72.5%）。

它还能在单台8GPU节点上训练一个27B参数模型超过1100步，全参数Adam在这里会直接显存耗尽。

论文：
和论文聊天：