大佬分享了一个能省大钱的本地AI工作流
精英们不想让你知道这件事……但你完全可以用这套方法:用本地模型当执行者,fable 5 当顾问。
如果你刚接触本地模型,你甚至可以让 SOTA Claude code 下载 Qwopus,把它部署在自己的 Claude code、open code 或 Hermes 实例中,通过 llama.cpp 运行,再根据你的硬件优化配置。
之后流程就非常简单:只需要让刚刚帮你配置完本地模型实例的 fable,用这个本地模型作为所有任务的执行者就行了。如果你愿意,你甚至可以让它检查输出,在需要的时候提交代码差异,全程还能省下巨额的使用成本。
你可以把配置调整到你满意的状态,再让它把整个流程保存成 skill.md。
更棒的是,你可以在主 SOTA 模型实例开启全自动模式,甚至大胆跳过权限验证,它会让你的本地模型一直通宵工作,直到昂贵的大模型判定目标完成为止。什么时候结束由不得本地模型决定。
你还可以在 Fable 实例上用 Claude code 超棒的远程控制功能,全天都可以从手机向它请求更新,看看你的本地模型执行时都构建了些什么。
我从 Qwen 3.5 27b 刚发布就开始这么玩了,之后几乎每天都在用。请一定要试试,我觉得你会惊讶于这套方法对你的用处,也会惊讶于本地实例能变得这么能干。我把这套玩法叫做 Model-as-a-harness。
请告诉我你对这个方法的看法,或者你有没有碰到什么问题。如果需要的话我可能会做一份更详细的教程!
我目前的配置是:Qwopus 3.6 35B moe,在 Claude code 中关闭思考功能,Fable 运行在它自己的 Claude code 实例,开自动模式,通过远程控制连接。这种玩法下 moe 的速度快得离谱。Qwopus 27B 要更聪明一点,所以不需要太多引导,代价是速度更慢。
请在下面告诉我你的想法或是你的工作流!我还有更多东西正在准备,很快就会和大家见面!祝各位今晚过得愉快!很荣幸能在这里和你们一起协作研究!
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖