开源法律冲突检测器省去17,689次API调用,20秒完成
我是 Tabs,在 Isaacus 做法律工程。机器学习这块我还在补课,不过东西先做出来了,下面是完整过程。
我构建了一个开源的法律冲突检测器,只用编码器模型(encoder model)和自然语言推理(NLI,natural language inference),就能在两份法律文件之间找出条款偏差和缺失。
起因是 TypeSafe AI 的 Jev 这类判别式模型(discriminative model)最近热度很高,我想验证一件事:在法务审阅 playbook 的大部分工作流里,如果换成更小的非生成式模型,到底能走多远。
为什么不用生成式模型
非生成式方案在这个问题上的理论收益非常大。真正的条款级成对审阅是一个二次复杂度的问题:两份平均规模的文档各有 133 个条款,逐对比较需要 17,689 次 API 调用(133 × 133),用 Opus 或 Astra 这种模型根本跑不起,又慢又贵。
直接把文件丢给 Claude 或 GPT 也不行。解码器模型和 agentic 架构没有固定的注意力机制,无法一次性把文档彻底分析完;即便用多轮 prompt 的方式,它们在召回上依然很弱,而且经常出现幻觉。
我身边的律师朋友反复提到这个痛点,而我又找不到现成的开源方案,于是决定自己写一个。
我的流水线把 NLI、蕴含判断和推理的主要工作交给更快、更准的法律编码器模型。在我采样过的最长的文档对上,整条流水线跑完不到 20 秒。与生成式架构不同,这些模型会做完整的成对比较;它们仍可能产生假阳性或假阴性错误,但这些错误不是幻觉,而是把域外结果混进了特征集。
第一步:富化(Enrich)
把每份文档解析成一棵层级树,依次是章(section)、条(clause)、子条(subclause)。条款是下游所有成对比较的原子单位。
这一步之所以关键,是因为切分的粒度直接决定了后面召回的上限:切得太粗,冲突会被淹没在大段文字里;切得太细,单个子条又带不动上下文。
第二步:向量化(Embed)
把每个条款编码成一个向量。这样后续的候选筛选就能靠向量相似度来做,而不必逐对调用模型。
第三步:过滤(Filter)
用一个法律领域的零样本分类器(zero-shot classifier)剔除不属于条款的内容,比如脚注和签署栏。
签名块和脚注在版式上很像条款,但它们不承载义务,如果混进比较集合,会产生大量没有意义的“冲突”。
第四步:候选筛选(Shortlist)
对每个条款,从参考文档中保留最相关的三个候选对,前提是它们的余弦相似度至少为 0.5。
这一步是把二次复杂度压下来的关键:后面的打分器只需要处理少量候选,而不是全量笛卡尔积。
第五步:打分(Score)
用重排器(reranker)和分类器分别给每个候选对打分,两者各自回答自己擅长的问题:重排器判断文本与查询的相关程度(relevance),分类器判断一个陈述是否为真(NLI / 蕴含 entailment)。
第六步:排序归类(Sort)
如果某个条款和它的最佳匹配落在同一主题、但冲突分很高,就判定为偏差(deviation)。如果找不到同主题的匹配,就判定为缺失(gap),即这个主题只出现在其中一份文档里,另一份没有。
以上就是完整的冲突检测流水线。在这之上,你可以选择接入一个 LLM,把每条发现用通俗英文总结出来,或者按你代表的当事人立场重写某个条款。由于生成步骤只在 NLI 与编码器栈已经判定冲突之后才运行,它没法凭空造出一个冲突来。
实例:迪士尼的两份雇佣合同
为了展示流水线的效果,我们输入了 Bob Iger 2011 年和 2022 年的迪士尼雇佣协议。流水线找出了大量差异和冲突,其中多数情况下,2011 年的协议比 2022 年的对 Iger 更有利。
其中一个有意思的发现是缺失项:2011 年的协议没有知识产权转让条款,而 2022 年的协议要求 Iger 把所有与工作相关的知识产权转让给迪士尼,仅对他不使用公司资源、在个人时间内完成的发明设了例外。
代码与许可
代码采用 MIT 许可,个人和商业用途都免费。配套指南逐步走完整条流水线,你可以在任意环节替换成自己的模型,或者按需要改动架构。
- 教程与静态 demo:https://isaacus.com/blog/build-a-legal-document-conflict-detector
- GitHub 仓库:https://github.com/isaacus-dev/cookbooks
读者提问:原子怎么切
有位读者问到流水线里的“原子”到底怎么来:是 LLM 生成,还是按文档结构切分?他认为这一步是地基,做对了才谈得上后面的效果。他还追问:当一个子条的含义只有在读完所在章或整条之后才清楚时怎么处理,子条要怎样携带前面所有上下文?
这两个问题原文没有给出答案,但确实指向了第一步的取舍:粒度与上下文携带方式,决定了后面所有成对比较的质量上限。