AI Pulse
📡 X 信号

Jerry Liu 发布 ParseBench-2,别再盲信通用模型基准

Jerry Liu 发布 ParseBench-2,别再盲信通用模型基准

你不应该盲目相信基准测试——你应该能够根据你的用例编码你的偏好,并围绕它设计评估指标。我们很高兴发布 ParseBench-2,它不仅是一个全面的文档解析基准,也是一个解析基准设计框架。你可以在其中明确表达一组关于“良好解析”是什么样子的人类偏好,并针对这些偏好“爬山”评估指标。

重要的不是手工制作确定性的解析指标。指标设计可以由编码代理自动化;重要的是一个开放的框架 + 用于编码人类偏好和优化指标的数据集。

例如,如果你主要处理后台数据,你可能会关心准确的表单解析、边界框和扫描件!另一方面,如果你处理的是投资者研究报告,你可能更关心表格和图表,而不太关心手写。我们让你编码一个严重性策略,该策略编码每个负面解析错误的影响,并强制指标适应它——就像在高维空间中拟合线性回归一样。

编码人类偏好的一种基线方法是将 LLM 作为评判。但这种方法与“简单的”LLM 评判调用的结果是,你会得到每个维度更细粒度、可重复、可量化的分解,并且可以高效地大规模运行。例如,一个 OCR 工具可能更擅长文本线性化,但在保留格式方面较差。另一个 OCR 工具可能更擅长保留表格中的空行,但在处理合并单元格时遇到困难。

我们网站上反映的分数确实反映了“默认”偏好,但它在我们的 Github 和技术报告中都得到了明确和透明的阐述。重要的是你可以根据你的需要更改和自定义它。

ParseBench-2 是我们迄今为止最雄心勃勃、最全面的开放基准。它不仅仅是一组确定性指标,而是一个设计解析评估的框架。我们正在迅速改进和扩展(例如,修复小的注释问题和调整指标)。如果你有想法,请随时发表意见!一切都是完全开源的。

ParseBench-2 仓库:
ParseBench-2 博客:
技术报告:

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新