ParseBench-2:文档解析99%正确,一个数字误读整页封顶
一个否定词被翻转,或者一个数字被误读,整页分数就被封顶。剩下的文字再准,也换不回来。ParseBench-2 把这条规则写进了评分器。
它是一个文档解析基准,把真实文档的覆盖面和严重度感知指标放在一起。每页的最终得分,取“解析得分”和“严重度上限”里较低的那个。一页内容即使 99% 正确,也会被认出来是有问题的那一页。
指标不是随手定的。它由六个严重度测试套件里的 330 个受控场景校准而来,每个场景都预设了目标分数降幅。严重度分 critical、major、minor 三档,良性变化不扣分。评分器覆盖的错误类型超过 140 种:事实被改、结构关系断裂、内容缺失、内容编造,都算。每一页还附一份逐错误的诊断。
这些大多是单点错误,出现一处就足够定性,所以诊断才要落到每页。
六个维度,每个都有自己的红线
文本维度查遗漏、幻觉、阅读顺序和事实被改。一个否定词翻转,或者一个数字误读,就封顶整页——哪怕剩下的文本一字不差。
格式维度只认承载意义的格式:标题及层级、加粗、删除线(表示内容被取代)、下划线(红线稿上的新增)、上标和下标。这些东西本身就在表达意思,不是排版装饰。
表格维度问的是:数值有没有挂在正确的行列标题上,合并单元格和层级表头算不算对。表头错位是 critical;多出来的 HTML 标记属于良性变化,不扣分。数值全对、挂错一列,读出来的就是另一张表。
图表维度要求把每个数据点连同系列名和轴标签一起还原成表格。数量级错了是 critical,系列名写成缩写只是 minor。版面维度要求每个抽取出来的元素都能追溯回它在页面上的位置和类别。
表单维度单独成项,覆盖 600 个表单页面,查字段值、复选框和签名。误读一个值是 critical。原本空着的字段必须保持为空,给它编一个值就算错误。
4,317 个页面,来自 2,645 份源文档
测试集共 4,317 个页面级用例,源头是 2,645 份文档。这些用例是修订后的 ParseBench-1 页面,加上 2,293 个专攻难场景的新用例:复杂表头、财务表与保险申报(SERFF)表、密集表、标题、删除线、下划线和政府表单。
表单维度在 500 个真实政府表单页面(打字填写,10% 留空)加 100 个可填写表单页面上评分。13 个子集里,文本和格式共用同一批 508 个文本页面,只是打分指标不同。
样本页面包括包头城市介绍、印度招股书草案、中文报纸、德国专利、日文文章、传单、法律公报、法律公告、宗教读物、西班牙报纸。这十页里多数不是用英语写的。
总分是六个维度的未加权平均。维度内部先按数据集取平均:每个定向数据集拿 1/8 权重,广泛数据集占剩下的。对外报告用 0–100 分。
一条命令跑完,成绩可以提交
评分器随开源的 parse-bench 包发布。一条命令就能下载数据集、在每个子集上跑流水线,最后给出六个维度分和总分。想测自己的解析器,把输出写成 ParseBench 结果布局,跑 parse-bench evaluation run 就行。
往排行榜提交成绩,是在模型的 Hugging Face 仓库开一个 PR,添加 .eval_results/parsebench-2.yaml 文件,每个任务一条记录。任务包括 overall 和六个维度。
文档全部取自公开网络渠道,数据集以 Apache 2.0 许可证发布。页面是 llamaindex/ParseBench-2,上月下载量 42,550 次,2 个 Space 在用。配套论文《ParseBench-2: Severity-Aware Evaluation of Document Parsing》已发在 arXiv,编号 2611.17400。
分数不能跨版本比
v2.0 于 2026 年 11 月 11 日首次发布,之后数据集反复修订。
v2.04 加入 bbox_tolerance 元数据。它允许最多 10% 的外扩词高容差,旋转和重叠词则是零容差,需要 CLI 2.1.0 及以上。
v2.06 对 11 份文本文档做了 18 处源文件核实修正,涉及图注、转录、格式、重叠的页眉日期和签署地点。
v2.07 修正八个表单页上的 96 个印刷标签与前缀,保留真实空白字段,排除四个黑带非字段。德语 IBAN 容差要 CLI 2.1.3,2.1.2 不够。
ParseBench-2 的分数和 ParseBench-1 不可比较。v1 的五个指标(Content Faithfulness、Semantic Formatting、GTRM、ChartDataPointMatch、Element Pass Rate)已经被严重度封顶指标取代,图表也从抽查改成完整数据表标注。
标注和逐页策略的更新都会改变分数。比较得锁在同一份数据集版本和同一个评分器版本上;升级数据集后,已经保存的输出要重新评分。看到“某工具得分提升”的说法,先确认它有没有换基准版本。
还有几处没公开。官方 YAML 示例里的分数没写明对应哪个模型、哪条流水线,不能当成任何解析器的排名。严重度封顶的具体公式、critical 与 major、minor 各自对应多少分上限、330 个受控场景怎么构造、140 多种错误类型的完整清单,以及表单签名到底是图像识别还是存在性判断,目前都没有说明。
关键事实
- ParseBench-2 是一个文档解析基准,结合了真实文档的广泛覆盖与严重度感知指标。
- 包含六个能力维度:文本、格式、表格、图表、视觉定位(版面)和表单。
- 新增的表单维度覆盖 600 个表单页面。
- 每页得分取解析得分与严重度上限中的较低者,因此即使一页 99% 正确,也会被正确识别出问题。
- 指标基于六个严重度测试套件中的 330 个受控场景进行校准,每个场景有目标分数降幅,严重度分为 critical、major、minor,良性变化不应扣分。
- 指标检查超过 140 种错误类型,包括事实被改、结构关系断裂、内容缺失、内容编造等,并对每页报告逐错误诊断。
- 数据集包含来自 2,645 份源文档的 4,317 个页面级测试用例,是修订后的 ParseBench-1 页面加上 2,293 个针对困难场景的新用例。
- 评估代码套件随开源 parse-bench 包发布。