AI Pulse

Hugging Face:一个harness一个LoRA,不用一套参数到处套

模型要用哪个 harness,就为哪个 harness 训练 LoRA 适配器。再往前一步,每个任务、每个 harness 各一份。这里没有一套参数到处套。

原帖举了 hermes、pi、opencode 三个 harness。也举了数据分析、构建软件、编程三类任务。对这些 harness,帖里只给了名称,没说明它们具体是什么。任务和 harness 怎么对应,帖里也没展开。

训练已经在跑。loss 曲线可以实时看,原话还带了句“但愿如此”。Space 链接公开,配套还有一篇博客文章。

评论区一共七条。有人说项目看起来很有看头。另一位说,这本来就是该做的事,甚至觉得这本不用说,只是乐见有聪明人认同。还有一条只写了“Huge if true”,账号名与作者相同,帖里没有确认身份。一个人的赞同,仍然只是一个人的赞同。

没交代的地方不少。训练需要多少数据、多少算力、跑多久,没有数字。普通人能不能自己动手,也没说。是否开源、是否免费、在哪里能用,同样空着。适配器训练好之后怎么分发、怎么加载回本地工具,只有博客链接,没有步骤。

效果上还缺对比。训练损失在下降,但损失下降和具体任务上少出错之间,没有效果数据。适配过的模型在没训练过的任务上会不会变差,也没有答案。当前训练的是哪个模型、哪个任务,帖里没写。

博客正文没有展开。训练成本、适配器的通用性、别人能不能复现,也都还看不到。

关键事实

阅读原文
📚 相关主题 开源大模型

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新