安全工程师启动8个月实验：用本地集群替代闭源前沿模型

今天，我要启动一项让我非常兴奋的实验。

我将评估完全依靠自有算力是否可行，而不是优先使用前沿模型，通过 @huggingface 来感受各种模型的性能。然后决定是需要更多的算力来搭建 8 节点集群，还是运行在 4 节点上的模型就足够了。

这项实验将持续 8 个月，我将特别关注以下几点：
1）将这个集群作为我工作的唯一驱动力（我的日常工作是逆向工程、网络安全和软件工程）
2）持续更新我的配置和结果（针对我工作的最佳模型/工具组合）
2）如果自定义工具、智能体工具包和工作流能显著提升模型的工作效率，我将创建并开源它们
3）保持透明，说明这与使用闭源前沿模型相比如何（持续评估和基准测试）
4）记录整个过程中的高潮和低谷

这是一个完全替代本地算力的方案，我将至少坚持 8 个月。我会分享我所做的项目，以及如果有目的地操作，这些东西是否真的能“收回成本”，并希望能为本地算力开源社区做出有意义的贡献。

简单介绍一下背景：我是一名经验丰富的逆向工程师、渗透测试人员和软件工程师（尽管困难重重，我仍然保留了在没有 LLM 帮助下编写代码的能力）。

希望你能关注我的进展——如果你对是否要转向本地算力犹豫不决，请告诉我你希望我关注/测试的具体内容。

顺便说一句，智能电视反遥测项目目前正在发生一些非常有趣的事情。希望我能在接下来的几天里分享更多。