法律AI公司Harvey推出自研Tenet系列模型

Harvey 是应用层 AI 公司浪潮中的先行者，通过 Tenet 模型系列实现了自研智能能力。他们从法律领域的基础模型起步，之后会为每位客户扩展定制模型。

这是所有企业的先行指标。未来，每个企业都会针对自己的领域（会计、销售、设计等等）对开源模型做后训练，再为每个重要客户定制这些模型。@mercor 很荣幸能与 @harvey 合作实现这一目标。

以下是关于 @harvey 模型训练工作的更新。我们完成了一个模型的后训练，将其命名为 Tenet：
- 在 LAB 上达到 SOTA
- 可泛化到第三方法律基准测试
- 使用子智能体实现领域特定能力

Tenet 以 Kimi K3 为基底，与 @FireworksAI_HQ 合作完成后训练：
- 在全网络上使用 Rank-64 LoRA
- 带重要性比率掩码的 GSPO
- 使用 134 张 B300 GPU 训练了 2 个月

尽管我们没有在第三方法律数据集上训练，Tenet 仍在以下任务中取得了提升：
- @mercor 的 Apex Agents
- 公司法
- @crosbylegal 的 Redline Bench
- LegalBench

Tenet 还学会了如何使用领域特定子智能体（独立后训练的模型）处理复杂任务：
- 并购尽职调查：在 RLM 框架中训练，处理长周期任务（与 @baseten 合作）
- 表格审核：用于大规模结构化数据提取的专家模型（与 @appliedcompute 合作）
- 律所知识库：通过参数化记忆和结构化笔记实现更高效的企业搜索（与 @engram 合作）

这些结果表明我们可以大幅扩展训练规模，我们计划：
- 大幅扩充人工和合成数据，将训练规模扩展到 1000 块 GPU，之后再到 10000 块 GPU
- 这个规模能让我们转向全参数微调，使用更大的模型
- 我们现已开始在我们的生产框架中进行模型后训练
- 对其他开源基底模型做后训练，为客户提供更多模型选择

如果你对这些问题感兴趣，我们的后训练团队正在招人。