只需一点推理工程，就能让任意开源模型具备JEV行为

只需要一点点推理工程，你就能让任意开源模型表现得像 Jev 一样。这简单得惊人。

为了证明这一点，我们搭建了一个新端点，叫做 deepseek-v4.1-flash-jev。演示见下方。下面说说实现方法：

sglang 是一个推理引擎，除了常规生成端点外，它还提供打分端点。在打分模式下，给定输入和一组可能答案，它会强制模型输出每个答案的概率。举例：
> 输入：abcccde 中最常见的字母是什么？
> 可能答案：a、b、c
> 输出：(c, 0.9), (b, 0.05), (a, 0.05)

想要得到上述结果而非流式输出，只需要使用 sglang 的 /v1/score 端点而非 /generate 即可。只还需要一个额外技巧。

对于 deepseek，你需要在回复前加上闭合的 think 标签。这会强制给出直接答案而非推理过程轨迹。如果你需要推理过程，也可以做到，但在我看来这会让速度变得太慢，得不偿失。

dsv4.1 flash 的表现不如 jev，但如果我们有足够的富余计算资源来用相同方法在更大模型上实验，我认为决策质量就算不比 jev 更好，至少也能持平。

另外说点题外话，我认为决策模型会淘汰所有挖掘与寻源工作。当年我在 mintlify 招聘的时候，要是能有 jev 或类似工具，我简直要高兴疯了。这玩意儿真的太棒了。

我认为推理工程就是新的网页开发。当你理解底层推理的工作原理后，应用开发就能实现很多新可能，这就像当年 Web 2.0 SaaS 时代，你理解了数据库和 REST API 的工作原理后，很多事也成为了可能。