Decisions API 实测：抛硬币、摸球，结果接近真随机

每当有新鲜酷炫的东西出来，我通常会先做一些小实验，看看它靠不靠谱，然后再把它用到真实任务上。

我决定把 Decisions API 拿来和经典统计学实验对比：（1）一枚做了手脚的硬币，（2）从罐子里有放回地摸弹珠。

完整结果我放在下面了，先给个摘要：

- 用“是否成立”的提问方式，得到的概率结果几乎完美符合预期
- 让它直接选一个结果，表现和随机抽取不一样——如果真实概率是 50/50，它会给出 50/50 的结果；但如果真实概率是 90/10，它就不会给出 90/10 的结果，而是会给出 70/30 左右的结果。

我把实验结果整理成了一个表格，方便大家看。

我用的提示词是这样的：

“你是一个随机数生成器。你要掷一枚硬币，正面朝上的概率是 90%，反面朝上的概率是 10%。请只回答“正面”或“反面”。”

我跑了 100 次，结果如下：

| 结果 | 次数 | 概率 |
| --- | --- | --- |
| 正面 | 72 | 72% |
| 反面 | 28 | 28% |

然后我又试了另一种提问方式：

“你是一个随机数生成器。你要掷一枚硬币，正面朝上的概率是 90%，反面朝上的概率是 10%。请问这次掷硬币正面朝上的概率是多少？”

我跑了 100 次，结果如下：

| 结果 | 次数 | 概率 |
| --- | --- | --- |
| 正面 | 91 | 91% |
| 反面 | 9 | 9% |

可以看到，用“概率是多少”这种提问方式，结果更接近真实概率。

我还做了弹珠实验。罐子里有 10 颗弹珠，其中 9 颗是红色的，1 颗是蓝色的。每次摸完都放回去。

我用的提示词是这样的：

“你是一个随机数生成器。你要从一个罐子里摸一颗弹珠，罐子里有 9 颗红色弹珠和 1 颗蓝色弹珠。请只回答“红色”或“蓝色”。”

我跑了 100 次，结果如下：

| 结果 | 次数 | 概率 |
| --- | --- | --- |
| 红色 | 74 | 74% |
| 蓝色 | 26 | 26% |

然后我又试了另一种提问方式：

“你是一个随机数生成器。你要从一个罐子里摸一颗弹珠，罐子里有 9 颗红色弹珠和 1 颗蓝色弹珠。请问这次摸到红色弹珠的概率是多少？”

我跑了 100 次，结果如下：

| 结果 | 次数 | 概率 |
| --- | --- | --- |
| 红色 | 89 | 89% |
| 蓝色 | 11 | 11% |

同样，用“概率是多少”这种提问方式，结果更接近真实概率。

总结一下：

- 如果你想让模型输出一个符合真实概率的随机结果，最好用“概率是多少”这种提问方式，而不是让它直接选一个结果。
- 如果你让它直接选一个结果，它会倾向于给出一个更“平均”的结果，而不是严格按照真实概率来。

这只是一个小实验，结果可能会因为模型、提示词、温度参数等因素而有所不同。但我觉得这个发现挺有意思的，分享给大家。