@cyrilXBT 发布 Prompt，把 AI 编程日志变成可观测仪表盘

人人都在追下一代模型。真正的优势一点都不性感：围绕你自己的实际工作方式搭一套 harness。

你的 agent 已经在记录每一次会话。每条 prompt、每次工具调用、每个错误、每个 token。几乎没人去读这些日志。下面这一条 prompt 就能把这些日志变成一个仪表盘，精确告诉你该修什么。把它粘进 Claude Code 或 Codex 👇

START OF PROMPT
用我过去 7 天的 AI 编码会话，给我搭一个可观测性仪表盘（类似 Langfuse）。

数据源（只读，绝不修改）：
Claude Code：~/.claude/projects/**/*.jsonl
Codex：~/.codex/sessions/**/*.jsonl 和 ~/.codex/history.jsonl

隐私要求：绝不打印密钥、API key 或完整 prompt。任何片段不超过 10 个词，并去掉 key、路径、URL 和长 ID。

第 1 步：数字
只用标准库写一个 Python 脚本。对每个工具计算：
• 每天的会话数、prompt 数，以及按工具名统计的工具调用数
• 失败的工具调用，按工具和错误类型分组
• 使用的模型，以及每个模型每天的 token 数（输入、输出、缓存读、缓存写）
• 工具调用延迟和会话时长的 p50 和 p95
• 按 token 计最大的会话、最长的会话，以及重试（同一调用在报错后重复执行）
• 把 prompt 按任务类型分类：build、debug、deploy、research、writing、UI、review、other
• 按项目文件夹分组的会话，并标记 subagent 运行

如果日志里没有某项，就写 "not logged“。绝不编造数字。把所有结果存到 harness-summary.json。

第 2 步：仪表盘
做一个自包含的 dashboard.html，深色主题，带动画图表：
• 顶部条：工具调用数、prompt 数、错误率、token 数、p95 延迟
• 会话表：工具、项目、开始时间、时长、prompt 数、工具调用数、错误数、token 数、模型。可搜索、可排序、可筛选，并带一个开关隐藏 subagent 运行
• 点击任意会话，可查看每一轮和每次工具调用的时间线，标记 ok 或 error，并显示时长
• 按项目统计的会话图表、按模型随时间变化的 token 图表，以及带错误率的模型表
• 按工具统计的延迟，以及按工具和错误类型分组的错误浏览器
• 每个会话的健康分，明确标注 ”heuristic"

如果文件太大，只按 token 取前 200 个会话。

第 3 步：改进建议
只用这些数据，写一份 HARNESS.md，给出对我的 CLAUDE.md 或 AGENTS.md 的修改建议：
• 模型路由：哪种任务类型该用哪个模型，依据是哪些成功、哪些失败
• 工具：保留（用得多、很少失败）、修复（经常失败）、砍掉（几乎不用）
• 技能：对每个我重复了 3 次以上的任务做一个 skill，带触发语句和步骤
• 护栏：我最常见的 3 种失败模式，以及各自对应的一条检查
• 预算：我最大的 5 个 token 消耗点，以及各自一条能削减的改动

每条建议都要附上它来自哪些会话。

第 4 步：先给我看
把我的 5 个核心数字和提议的配置改动以 diff 形式展示给我。在我批准之前，什么都不要改。
END OF PROMPT

每周跑一次。只改数据能证明的东西。这样你的 AI 才会每周都变得更好。