AI Pulse
📡 X 信号

Claude Code与Codex可自动完成应用上线前QA,附完整提示词

Claude Code和Codex现在可以在应用上线前完成QA工作,每个bug和操作卡点都会生成截图,智能体修复所有问题后会重新运行验证修复效果。

这套QA流程首先会模拟5名首次使用应用的用户,每个用户由独立子智能体驱动,找出所有让用户困惑、卡顿或不满的位置,修复后验证修复效果。

测试前需要先确认几个前置信息:应用的本地或预发布环境地址、用户首次成功完成的核心操作(比如创建第一个项目)、5个已验证的测试账号(如果没有邮箱验证机制也可以直接注册新账号)。子智能体不会主动提问,所有前置信息需要提前确认;如果没有指定首次成功操作,智能体会根据代码提出建议等待确认;如果注册需要邮箱验证且没有足够测试账号,会提前告知。

测试环境有明确限制:仅使用本地或预发布环境,开启测试模式支付,不使用真实用户数据。每个测试用户使用独立的浏览器隔离上下文,单独设置视口、网络和CPU参数,通过Playwright MCP在干净会话中逐个运行,无法模拟的场景会标注为“未测试”,不会伪造结果。

5个测试用户分别对应不同的典型场景:
1. 急躁型用户:快速浏览,点击第一个看起来有进展的按钮,每个页面停留10秒,遇到错误、无限加载或看不懂的输入框就直接退出。
2. 谨慎型用户:先阅读定价、服务条款和隐私政策,确认试用后的完整价格、每个注册字段的必要性、是否可以取消或删除账号,评估是否敢绑定银行卡。
3. 移动端用户:使用375px宽的触屏,模拟慢3G网络、CPU降速4倍的环境,排查空白加载、布局偏移、横向滚动、小于44px的点击区域、遮挡主按钮的固定栏、无法关闭的弹窗等问题。
4. 非英语母语用户:仅按照界面字面意思操作,排查习语、行业术语、无标签图标、仅靠占位符提示的输入框、没有说明修复方式的错误提示。
5. 破坏型用户:在所有输入框粘贴垃圾内容(空值、5000字符、表情、阿拉伯语、特殊字符、脚本标签、SQL注入字符串),提交过程中点击返回和刷新,所有按钮双击,同时开两个标签页,排查崩溃、重复提交、输入丢失、输出未转义等问题。

测试过程中,每个用户从落地页走到首次成功完成核心操作,边操作边说出预期和实际结果,每个页面都截图保存。遇到卡点时记录问题描述、URL、控制台错误、失败请求和严重等级:4级为阻断性问题(无法完成操作),3级为严重问题,2级为一般问题,1级为外观问题。遇到卡点会像真实用户一样尝试两次,之后放弃并记录位置,不会删除、邀请、发送消息或产生真实支付,走到首次成功或操作满60次就停止,所有记录仅保存在对应文件夹中,不会读取代码或其他测试文件。

测试完成后,所有问题会合并为按根因分类的列表,优先处理阻断性问题,再按受影响的用户数量排序,数量相同则按严重等级排序,每个问题标注可能的原因(文件:行号)。之后在qa/first-users-fixes分支上一次性修复所有问题,只修复根因而非表面症状,不修改列表外的内容,定价、条款和隐私相关的文案问题会列入“需要人工处理”列表并给出修改建议,修复完成后运行现有测试。

修复后的验证流程为:在本地运行修复后的分支,或部署到预发布环境,重新运行全部5个用户测试,之后由没有参与过修复的裁判子智能体对比第一轮测试的问题列表和两轮测试的截图,标注每个问题的状态:已修复、未修复、未触发、新出现。已修复的判定标准是第二轮测试的截图显示用户可以顺利通过该卡点,截图优先级高于文字记录。

如果仍有未解决的问题,会再进行一轮修复,运行第三轮全部用户测试和新的裁判验证,三轮测试结束后停止,列出需要人工处理的剩余问题。最终生成的报告包含未测试的场景、每轮测试的用户得分对比、按优先级排序的问题列表(附带状态、截图、修改的文件),如果项目使用Playwright Test,还会将每个用户的最终操作路径保存到测试文件中。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新