AI Pulse
📡 X 信号

卡比老师分享8个Prompt优化实用方法论

卡比老师分享8个Prompt优化实用方法论

暴论:Skill 将死,方法论永生。昨天参加 B 站的 Build in Public,卡比老师 @jakevin7 真的把这条写进了他的 ppt 然后公开讲了!整个下午最精彩的部分就在这了,完全是来上课的!

干中之干太干了!按照卡比老师说的,随着模型训练不断进步,很多通用知识和标准流程,会逐渐被模型内化。以前需要写一大段指令教它怎么做的事,未来可能用几句精炼的提示,就能调动已有的能力。

我们可以把更多精力放在:这次要解决什么问题,应该采用什么方法,以及怎样判断它真的做对了。卡比老师分享的这 8 个点可以加进日常的 Prompt 中,可以极大的提高干活的效率,结合自己的理解,mark一下: 1️⃣ 第一性原理 ->先把问题本身搞清楚。把这个输入给 Agent 让它回归事实,检查问题有没有复现、根因是什么、修复前后的结果有什么变化。

保证最开始的问题存在并且可执行。这里卡比老师也是拿 Claude 解决了费马大定理的时事举例,也是非常贴切,100轮次过后,怎么让 Claude 记住要做的任务是什么。2️⃣ 对抗式审查->找一个专门挑毛病的 Agent。

让没有参与实现的 Agent 独立审查,寻找反例、遗漏和失败场景,要求它给出证据。其实本质上来说是一个多 Agent 交叉验证,让大家认可一个结果。3️⃣ 消融实验->拿掉一个东西,看看还行不行。

这其实是写论文最重要、���可获缺的一个地步,Ablation Study,简单来说就是去掉某个关键变量会不会对结果的影响有多大。某条规则、某个工具、某段提示词到底有没有用,可以在其他条件尽量不变时,删掉它再跑一遍,对比结果。这样才能证明每一个元素都有自己的作用。

4️⃣ 奥卡姆剃刀->先做最简单、能工作的版本。能用一个脚本解决的事,可以先把脚本跑通。架构可以随着真实需求不断迭代。

这和这场会议刚开始分享的猫娘计划创始人如出一辙。现在大家都是 Build In Public,有一个主意能 work,就可以让大家来审阅,提出更多真实反馈、真实需求,就能让产品更好!5️⃣ 列出所有不自信的点->让不确定有地方出现。

明确要求 Agent 交代:哪些结论缺少证据,哪些场景还没测,哪些地方只是猜测。毕竟 Agent 再强也会犯错(Astra 100%的benchmark当我没说先排除),只有让它自查才能降低犯错的概率。6️⃣ 保持独立思考->先判断,再参考别人的答案。

尤其在多 Agent 协作时,可以让每个 Agent 先独立给出结论和依据,再互相讨论。这样更容易发现分歧,减少一个 Agent 说错、其他 Agent 跟着点头的情况。后面也是详细分享了多 Agent 的多种架构,Swarm、Graph、Agent Team等如何选择。

7️⃣ 批判性思维->必须检查证据。不要因为一段分析讲得完整,就默认它成立。让 Agent 区分观察到的事实和推测,并说明什么证据会推翻自己的判断。

8️⃣ 高内聚、低耦合->把模块边界划清楚。相关的逻辑放在一起,不同模块通过清楚的接口协作。这也会直接影响 Agent 的工作难度:改一个模块时,需要理解的范围越明确,越容易给它合适的上下文,也更方便验证修改。

我对「Skill 将死」的理解,主要落在那些重复讲通用知识的长篇说明上。以前 1000 多行的通用说明可能已经被内化到预训练过程,现在只需要两三行文字就可以实现非常好的效果。当然,Skill 也不只是文本,还有一些视觉参考、工具调用之类的,这其实也还有存在的必要。

这次听完确实受益匪浅!很喜欢卡比老师把工程里的方法,讲成了我们下一次打开 Agent 就能用上的表达!有高深的让人思考的,也有落地能直接让我们执行的!

感谢卡比老师的分享,期待下次见!

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新