DFlash加速通义千问：性能提升2.2倍且无质量损失

DFlash可将通义千问（Qwen）的推理速度提升2.2倍，且不会造成输出质量损失。

开发团队在单张RTX 6000显卡上本地运行Qwen3.6-27B模型，分别测试基线原生、MTP、DFlash三种方案，测试任务仅在下文可预测性上存在差异，涵盖快速排序、JSON文件描述、逻辑谜题、科幻故事创作四类任务。

测试结果显示，基线方案每步生成1个token，速度为每秒44个token，相对速度为1.00倍。MTP在大模型内部提前预测3个后续token，速度为每秒65个token，相对速度1.45倍，71%的预测被大模型接受。

DFlash依靠独立的小型模型一次性生成15个后续token，仅需大模型验证结果，速度达到每秒98个token，相对速度2.20倍，仅30%的预测被大模型接受。

在词汇重复度高的JSON生成任务中，DFlash预测准确率高，速度可达每秒152个token，相对提速3.4倍。在科幻故事这类可预测性极低的创作任务中，DFlash十次预测九次出错，额外的预生成工作反而拖慢速度，每秒仅生成42个token，低于基线方案的每秒44个token。

MTP仅提前预测3个token，错误预测带来的性能损耗很小，在该任务中仍能达到每秒46个token，保持速度优势。三种方案的最终输出完全一致。

对于编码这类输出可预测性高的任务，更适合选择DFlash；聊天和创意写作类任务，MTP表现更好。DFlash现已原生集成到基于llama.cpp的Atomic Chat中，可用来加速本地运行的通义千问模型。