AI Pulse

Ernie 5.5 Flash 现身编码榜,评论称一半参数够到 DeepSeek Flash

Ernie 5.5 Flash Preview 出现在一份 Agentic Coding 的聚合指数上。总参数 280B,激活参数 14B。后一个数字指的是每次推理真正要调动的那部分。

评论区票数最高的一条判断:它用一半的参数,就够到了 DeepSeek Flash 的编码水平,是个厉害的新来者。这是评论者的说法,不是官方的对比数据。开发方是谁、是否开源、什么时候正式发布,帖子里都没提。

这份榜不是 AA 指数

AA 指数里只放了两个编码基准,Terminal-Bench 4.0 和 FrontierCode-AA 2.0,两项合计占它总分的 25%。拿这个分数去判断软件工程能力,能看出的事不多。

被讨论的这份指数不一样。它整个围绕 Coding 和 SWE 搭起来,由 12 个基准聚合,权重从 16% 铺到 3%。

- Terminal-Bench v4.0:16%
- DeepSWE v1.1:15%
- FrontierCode 2.0:11%
- Code Migration(Vals-AI):9%
- Terminal-Bench v2.1:8.5%
- SRE-Bench(Vals-AI):8%
- SWE-bench Pro:7.5%
- Code Arena Elo:6.5%
- Program-Bench:6%
- Vibe Code Bench v1.1:5.5%
- SciCode:4%
- LiveCodeBench v6:3%

十二项加起来正好 100%。在终端里跑命令、在真实仓库里改代码、代码迁移、运维排障,都落在这 12 项里。比只看两个基准的通用榜,它更贴近写代码时真会碰到的事。

稀疏的反向问题

激活 14B、总参 280B,最直接的含义是推理便宜:每次要调动的权重少,成本通常更低。这是算术,不是实测。

一位评论者指出了不那么乐观的一面。自定义推理引擎常常利用专家选择的时间局部性,缓存热门专家,速度就是这么来的。模型越稀疏,能靠缓存换来的加速就越少。稀疏带来的便宜是真的;来自缓存的那部分速度,未必按比例兑现。衰减到什么程度,帖子里没有数字。

榜单本身也在被质疑

有人建议把 DeepSWE v1.1 的权重从 15% 降下来。理由是这基准看着有点过时。此前有帖子称它有缺陷,创作者也完全不回应,据说 v2 已经做了很久。15% 在这份指数里排第二,仅次于 Terminal-Bench v4.0 的 16%。一项有争议的基准压这么重,总分会被它带着走。

覆盖范围同样有争议。有人喜欢这份榜,因为它收了 Nanbeige、Flint 和 Ornith——但没有 Ripple。另一位在底下反问,为什么这些图总是漏掉 GLM 5.3 Flash。一张榜收了谁、漏了谁,本身就是编辑选择。

评论区还挂着几条原帖没解释的信息。Fable 5.2 得分 100.3%,这个数字是什么口径不明。有人问它是不是 DeepSeek v4 的微调。有人调侃它跟 Qwen 有没有关系。有人问它比 fnq 好还是不好,值不值得为它单独做一套自定义推理引擎。有人贴的图分辨率太低,字读不清。还有人直接要榜单链接和网站地址。

这些提问指向同一处空白。模型的具体得分、在榜上的名次、开发方身份、开源与否,原帖里都没有。能看到的只是它被放进了这份指数,以及评论区围着它吵的那些话。

关键事实

阅读原文
📚 相关主题 AI大模型编码基准开源社区

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新