3060跑9.5小时,12个陷阱没编答案,评论:只覆盖陷阱集
一张3060,9个半小时
测试在 RTX 3060 12GB 加 16GB 系统内存上完成,模型几乎占满显存。跑的是 Inkling 2 Mini 的 Unsloth UD Q4_K_M 量化版,上下文 80k,生成速度约 14 tokens/秒,提示处理约 150–250 tokens/秒。测试时主线的 llama.cpp 还不支持这个模型,用的是 Unsloth 自己的构建。框架是 Claude Code,中途自动压缩触发过,工作正常。
全程 9.5 小时,162 个任务完成 114 个,平均得分 94%。每个任务按 0 到 100% 计分,允许部分得分——5 行答对 4 行算 80%——94% 就是这些分数的平均。
跑久了会不会变松
长时间自主运行最容易出的毛病,是越跑越马虎。这份测试专门盯了几项。
12 个无法回答的问题,一次也没有编造答案。大约 100 个有答案的问题里,它只有一次错误地说“我无法回答”。29 次工具调用有 3 次失败,每次自己恢复了,也从没碰过删除命令。每个答案都遵守格式规则。漂移检查把同样四个简单任务重复了 5 次,开头和结尾都是 100%。它说大约 97% 确定的时候,实际正确率约 93%。置信度报得还算诚实。
分数由代码出,也由代码判
162 个任务全部由代码生成,不是公开基准,模型训练时见不到。答案也由代码检查,没有 AI 评委。模型看不到答案,只能按设定格式把答案写进文件。全程还要守几条固定规则:有效 JSON、写明置信度、每段解释以任务 ID 结尾。这几条规则本身就是观察点——跑几个小时后会不会马虎,看这里。
任务类型铺得很开。幻觉陷阱约 20 个,都是答不出来的问题:文档里不存在的参数、编出来的论文、文件里没有的函数。每个陷阱旁边配一个正常问题,免得模型靠“什么都说不知道”取胜。
工具调用 10 个,全是故意行为异常的小命令行工具。有的随机失败,有的文档过时,有的登录令牌会过期。有的结果悄悄标着“部分数据”,有的报错但退出码是 0。还有一个“删除一切”的命令,就紧挨着它该用的那条。
长文档 19 个:在 64k token 的近重复文本里找一个代码,在长故事里追一件物品在谁手上,在大日志里数事件。记忆 7 个,开头给一份简报,之后不许再看再问。编码 12 个,写函数或修有 bug 的函数,用隐藏测试判。剩下的有逻辑谜题、精确输出格式、从乱发票里抽字段、文档里藏着的劫持文本。还有一个任务塞了 25 个小问题。
弱项是多步骤业务计算
业务数据 29 个任务,围绕一家虚构制造公司,约 17 张电子表格。问题像“哪 5 家供应商逾期金额最多”,或者“这个部件缺货 8 周会损失多少收入”,还有“给这个部件做逐周库存平衡”。有些得连着穿过好几级零件清单。
这块 87%,是真的算错了。多步骤题里它忘了对嵌套部件做数量乘法,有一次漏掉了一个生产高峰周。每次都答得很有把握,也每次都错,但只出现在长链条的多步骤题上。
记忆得分 20%。测试者不太往心里去。四次它都说记不得那份简报,没有编一个出来。他猜是上下文在途中被压缩了,所以这一项更像是在说明 Claude Code,而不是模型本身。
162 个任务里没完成的 48 个,是超时还是别的原因,测试没交代。
别人也在跑,速度各不相同
测试者说,这是他这台电脑上目前能跑的最好的模型,比他试过的其他模型强出一截,而且全在 3060 上完成。他留了仓库链接,想验证数字可以找他要。测试点一下就不用管。
评论里有人指出,主线的 llama.cpp 从“昨天”起已经支持这个模型,还给了 PR 和发布版本链接。另一位同样用 RTX 3060 的人速度约 10 tokens/秒,量化不同,CPU 可能也不同。还有人拿 RTX 5060 Ti 8GB 跑,说速度很好,比重量化的 QFN3.8(Q2)强得多。
也有人把指标拆开看。拒绝 12 个无法回答的问题,和答对有答案的问题,不是同一个度量。那些答得自信的业务数据错误说明,零编造这个结果只覆盖陷阱集,不代表整体幻觉率。
关键事实
- 测试在RTX 3060 12GB显卡和16GB系统内存上运行,模型几乎占满显存。
- 使用的模型是Inkling 2 Mini的Unsloth UD Q4_K_M量化版本。
- 因为主流的llama.cpp尚不支持该模型,测试使用了Unsloth自己的llama.cpp构建。
- 使用Claude Code作为测试框架,运行中自动压缩(auto-compaction)正常工作。
- 测试共162个任务,模型完成了114个。
- 模型被问及12个无法回答的问题时,一次也没有编造答案。
- 模型进行了29次工具调用,其中3次失败,但每次都恢复了,并且从未触碰删除命令。
- 在大约100个有答案的问题中,模型只有一次错误地说“我无法回答”。