AI Pulse

开源法律冲突检测器省去17,689次API调用,20秒完成

我是 Tabs,在 Isaacus 做法律工程。机器学习这块我还在补课,不过东西先做出来了,下面是完整过程。

我构建了一个开源的法律冲突检测器,只用编码器模型(encoder model)和自然语言推理(NLI,natural language inference),就能在两份法律文件之间找出条款偏差和缺失。

起因是 TypeSafe AI 的 Jev 这类判别式模型(discriminative model)最近热度很高,我想验证一件事:在法务审阅 playbook 的大部分工作流里,如果换成更小的非生成式模型,到底能走多远。

为什么不用生成式模型

非生成式方案在这个问题上的理论收益非常大。真正的条款级成对审阅是一个二次复杂度的问题:两份平均规模的文档各有 133 个条款,逐对比较需要 17,689 次 API 调用(133 × 133),用 Opus 或 Astra 这种模型根本跑不起,又慢又贵。

直接把文件丢给 Claude 或 GPT 也不行。解码器模型和 agentic 架构没有固定的注意力机制,无法一次性把文档彻底分析完;即便用多轮 prompt 的方式,它们在召回上依然很弱,而且经常出现幻觉。

我身边的律师朋友反复提到这个痛点,而我又找不到现成的开源方案,于是决定自己写一个。

我的流水线把 NLI、蕴含判断和推理的主要工作交给更快、更准的法律编码器模型。在我采样过的最长的文档对上,整条流水线跑完不到 20 秒。与生成式架构不同,这些模型会做完整的成对比较;它们仍可能产生假阳性或假阴性错误,但这些错误不是幻觉,而是把域外结果混进了特征集。

第一步:富化(Enrich)

把每份文档解析成一棵层级树,依次是章(section)、条(clause)、子条(subclause)。条款是下游所有成对比较的原子单位。

这一步之所以关键,是因为切分的粒度直接决定了后面召回的上限:切得太粗,冲突会被淹没在大段文字里;切得太细,单个子条又带不动上下文。

第二步:向量化(Embed)

把每个条款编码成一个向量。这样后续的候选筛选就能靠向量相似度来做,而不必逐对调用模型。

第三步:过滤(Filter)

用一个法律领域的零样本分类器(zero-shot classifier)剔除不属于条款的内容,比如脚注和签署栏。

签名块和脚注在版式上很像条款,但它们不承载义务,如果混进比较集合,会产生大量没有意义的“冲突”。

第四步:候选筛选(Shortlist)

对每个条款,从参考文档中保留最相关的三个候选对,前提是它们的余弦相似度至少为 0.5。

这一步是把二次复杂度压下来的关键:后面的打分器只需要处理少量候选,而不是全量笛卡尔积。

第五步:打分(Score)

用重排器(reranker)和分类器分别给每个候选对打分,两者各自回答自己擅长的问题:重排器判断文本与查询的相关程度(relevance),分类器判断一个陈述是否为真(NLI / 蕴含 entailment)。

第六步:排序归类(Sort)

如果某个条款和它的最佳匹配落在同一主题、但冲突分很高,就判定为偏差(deviation)。如果找不到同主题的匹配,就判定为缺失(gap),即这个主题只出现在其中一份文档里,另一份没有。

以上就是完整的冲突检测流水线。在这之上,你可以选择接入一个 LLM,把每条发现用通俗英文总结出来,或者按你代表的当事人立场重写某个条款。由于生成步骤只在 NLI 与编码器栈已经判定冲突之后才运行,它没法凭空造出一个冲突来。

实例:迪士尼的两份雇佣合同

为了展示流水线的效果,我们输入了 Bob Iger 2011 年和 2022 年的迪士尼雇佣协议。流水线找出了大量差异和冲突,其中多数情况下,2011 年的协议比 2022 年的对 Iger 更有利。

其中一个有意思的发现是缺失项:2011 年的协议没有知识产权转让条款,而 2022 年的协议要求 Iger 把所有与工作相关的知识产权转让给迪士尼,仅对他不使用公司资源、在个人时间内完成的发明设了例外。

代码与许可

代码采用 MIT 许可,个人和商业用途都免费。配套指南逐步走完整条流水线,你可以在任意环节替换成自己的模型,或者按需要改动架构。

- 教程与静态 demo:https://isaacus.com/blog/build-a-legal-document-conflict-detector
- GitHub 仓库:https://github.com/isaacus-dev/cookbooks

读者提问:原子怎么切

有位读者问到流水线里的“原子”到底怎么来:是 LLM 生成,还是按文档结构切分?他认为这一步是地基,做对了才谈得上后面的效果。他还追问:当一个子条的含义只有在读完所在章或整条之后才清楚时怎么处理,子条要怎样携带前面所有上下文?

这两个问题原文没有给出答案,但确实指向了第一步的取舍:粒度与上下文携带方式,决定了后面所有成对比较的质量上限。

阅读原文
📚 相关主题 开源NLP法律科技

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新