AI Pulse

自己组装电脑训练AI?一块二手显卡让时间从11天缩至40小时

自己组装电脑训练AI?一块二手显卡让时间从11天缩至40小时

这位AI爱好者一开始用的是旧电脑(GTX 1660 Super),训练一个7600万参数的GPT-2变体,跑了11天,花了18度电。旧卡的GPU有效利用率只有53%,功耗才67W,大部分算力都浪费了。

他在eBay上设了个提醒,最终从保加利亚淘到一块二手RTX 3090。这块卡满载功耗约368W,GPU利用率能跑到100%。他先把它装到另一台机器(perry)上试跑——同样的模型,9小时完成,耗电3.3kWh。速度比旧机器快了将近30倍,电费还更省。

试完后他决定把自己的旧机器(poppy)也升级。为了装下这块大卡和未来可能加的第二块,他把机箱从Mini-ITX换成了Fractal Design North XL,电源也换上了1600W。但装上3090后出了岔子:CPU风扇突然罢工,温度飙到115°C,机器直接紧急关机。换了个风扇后总算稳定了——RTX 3090满载跑了40小时,GPU温度稳定在70°C,CPU 76°C。最终模型的测试损失是3.548880,和perry的结果几乎一样,说明训练质量没打折。

为什么自己的机器比perry慢了4倍多?他没细说,但主板和CPU是瓶颈——要上多GPU,这两样都得换。他下一步打算上水冷,然后加卡。目前看不出来水冷后多GPU能跑多快,也说不清二手3090到底能用多久。

对预算有限的AI玩家来说,这条路门槛不高:一块二手卡、一点动手能力,就能本地跑模型。安装有坑,但能填平。结果可靠——至于边际,得自己试。

阅读原文
📚 相关主题 大语言模型

📬 订阅 AI Pulse

每天三次更新,不错过重要信号

▲ 回到顶部