AI Pulse
🔥 热点深度解读

AI公司用Kimi做底模,改出了顶尖法律专用AI

律所的律师整理一份上百页的合同,往往要花一整天核对条款、梳理逻辑。

现在专门服务法律行业的AI公司Harvey,推出了首款面向法律领域定制训练的模型Tenet。和很多AI公司直接调用OpenAI或者谷歌的通用大模型接口不同,这次Harvey选择了基于Kimi K3基础模型,联合FireworksAI_HQ做了专门的「后训练」。

后训练就是在已经训练好的通用基础模型上,再加一批特定领域的数据继续训练,让模型更贴合行业需求。这次Tenet用到的训练数据,包括公开法律数据、AI生成的合成数据,还有模拟长期法律工作的人类专家数据,目标就是提升模型处理长时间跨度法律任务的能力。

对比原来的Kimi K3基础模型,Tenet在LAB法律测试集上的全通过率提升了82%,在LAB合同专项测试集上提升了22%。它不仅拿到了LAB合同测试集的当前最好成绩,在LAB综合测试集排到第二名,和Anthropic、OpenAI、谷歌的前沿模型比,性能也有竞争力。

@BrendanFoody 认为:Harvey代表了应用层AI公司的新方向,开始自己掌控模型能力,先做法律领域的专用基础模型,之后再扩展定制模型。

@mercor 则提到,这次开发里,人类专家数据对后训练起到了关键作用。

做通用大模型训练要砸几亿甚至几十亿,中小行业AI公司根本负担不起。现在Tenet的路径给出了另一种可能:不需要从零开始,找合适的开放基础模型,用行业专属数据做后训练,就能做出性能媲美大厂、还更贴合行业需求的专用模型,门槛比从头做低了很多。

接下来,会不会有更多垂直领域的AI公司,选择走这条改一改基础模型做专用AI的路?

📎 参考来源

查看原始推文

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新