四张CMP 50HX共360美元:本地模型跑得动,待机仅8W
升级背景
我终于抽出时间升级了 GPU。先提醒一句:在 P520 上升级 GPU 时,务必小心。插卡或拔卡时,必须保持与插槽完全垂直的角度,不能有任何倾斜。原因是在显卡插入机箱金属背板大约 1/4 英寸的位置,有一些非常微小的元件,空间非常狭小。任何失误都可能刮掉这些元件,然后你就得买一块新主板了。别问我怎么知道的(笑)。幸运的是,更换主板只花了 50 美元。
硬件成本与配置
我买了 4 张 CMP 50HX 来替换原来的 4 张 P102-100。P102-100 每张 35 美元,4 张共 140 美元,提供 40GB 显存;CMP 50HX 我买的时候每张 80 美元,4 张一共 360 美元(原文如此,按单价算应为 320 美元)。而在我写这篇文章时,CMP 50HX 已经涨到每张 200 美元了。
性能基准测试
下面是我其中两张卡(因为还在等零件组装四卡系统)的基准测试结果:

这笔投资值不值?
对我来说,绝对值得。我花了 360 美元就拿到了所有本地模型,速度也不错。这些卡待机时功耗只有 8W,这也是我买它们的主要原因之一。我一直坚信,没必要花冤枉钱也能得到好结果。
解锁方法
如果你决定入手这些卡,需要使用下面的工具来解锁:
https://github.com/xrip/cmp50hx-unlock
旧卡的新用途
我那台装着 P102-100 的服务器,现在用来跑我为智能体(agent)和工作流微调及优化的模型。在线微调用 RunPod 或其他供应商大概每个模型花 3 到 5 美元。我一年也就优化 10 个模型左右,所以每年微调优化的成本约 50 美元。我真的无法说服自己花几千美元去做根本不需要做的事。
答疑
有问题随时问我。