AI Pulse

四张CMP 50HX共360美元:本地模型跑得动,待机仅8W

升级背景

我终于抽出时间升级了 GPU。先提醒一句:在 P520 上升级 GPU 时,务必小心。插卡或拔卡时,必须保持与插槽完全垂直的角度,不能有任何倾斜。原因是在显卡插入机箱金属背板大约 1/4 英寸的位置,有一些非常微小的元件,空间非常狭小。任何失误都可能刮掉这些元件,然后你就得买一块新主板了。别问我怎么知道的(笑)。幸运的是,更换主板只花了 50 美元。

硬件成本与配置

我买了 4 张 CMP 50HX 来替换原来的 4 张 P102-100。P102-100 每张 35 美元,4 张共 140 美元,提供 40GB 显存;CMP 50HX 我买的时候每张 80 美元,4 张一共 360 美元(原文如此,按单价算应为 320 美元)。而在我写这篇文章时,CMP 50HX 已经涨到每张 200 美元了。

性能基准测试

下面是我其中两张卡(因为还在等零件组装四卡系统)的基准测试结果:

基准测试

这笔投资值不值?

对我来说,绝对值得。我花了 360 美元就拿到了所有本地模型,速度也不错。这些卡待机时功耗只有 8W,这也是我买它们的主要原因之一。我一直坚信,没必要花冤枉钱也能得到好结果。

解锁方法

如果你决定入手这些卡,需要使用下面的工具来解锁:

https://github.com/xrip/cmp50hx-unlock

旧卡的新用途

我那台装着 P102-100 的服务器,现在用来跑我为智能体(agent)和工作流微调及优化的模型。在线微调用 RunPod 或其他供应商大概每个模型花 3 到 5 美元。我一年也就优化 10 个模型左右,所以每年微调优化的成本约 50 美元。我真的无法说服自己花几千美元去做根本不需要做的事。

答疑

有问题随时问我。

阅读原文
📚 相关主题 本地部署硬件

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新