SRM 数独模型换采样器，准确率从0.8%飙到65.7%

1/5 连续扩散在离散推理上的表现，可能比标准采样所显示的要好得多。我们拿了 SRM 的 MNIST-Sudoku Hard 检查点（arXiv 2502.21075），并且只改了采样器：❗ 有效解出的棋盘从 0.8% 提升到 65.7%，全程没有重新训练。为什么标准采样会失败？🧵

2/5 我们用的是**连续扩散**（continuous diffusion）：在 [0,1] 区间上做扩散，而不是在类别索引上做扩散。训练时，模型学习的是在连续空间中逐步去噪，最终生成一个接近 one-hot 的向量，再通过 argmax 解码成离散类别。

3/5 标准采样（比如 DDPM 或 DDIM）在每一步都直接对连续向量做去噪，然后在最后一步才做 argmax。问题在于：Sudoku 的约束是**硬约束**——每一行、每一列、每个 3x3 宫格内数字 1-9 必须各出现一次。连续去噪过程中产生的微小误差，在最后 argmax 时会被放大成违反约束的解。

4/5 我们的改进很简单：在采样过程中**逐步注入约束**。每去噪几步，就用当前的连续向量做一次 argmax，然后把已知正确的格子（比如题目给定的数字）重新固定回去，再继续去噪。这样相当于在采样过程中不断“纠正”模型，让它不会偏离可行解空间太远。

5/5 结果：在 MNIST-Sudoku Hard 上，标准采样的有效解率只有 0.8%，而我们的约束注入采样达到了 65.7%。这说明连续扩散模型本身已经学到了 Sudoku 的结构，只是标准采样没有把这个能力释放出来。代码和检查点已开源，欢迎大家复现和改进！