92分钟和26秒：这家公司的AI在标准商业合同审查PK中，完败20位顶尖律师

撰文 | 微胖

最近，法律人工智能平台 LawGeex 公布了一项最新研究成果。在标准商业合同审查中，二十位拥有数十年公司法和合同审查经验的美国顶尖律师，败给了该公司的人工智能系统。

来自律所、公司等机构的二十位资深律师参加了一场比赛。比赛要求他们在 4 个小时内审阅五份标准保密协议（NDAs）并找出其中 30 个法律问题，包括仲裁、保密关系和赔偿金（indemnification）等。这些问题也是当今商业活动的基础。

「大多数合同，无论是遗嘱、公司经营协议还是保密协议，都非常相似。」参与了这次研究的知识产权律师 Grant Gulovsen 说，这次比赛设置的任务和律师日常工作非常相似。

比赛涉及的五份保密协议来自安然数据集（Enron Data Set）, 也是行业常用文档标准语料库。这几份保密协议是美国公司（包括安然、嘉吉、太平洋瓦电等）使用的真实、日常协议，形式不等——2 页、3 页、2 份 4 页和 5 页保密协议。这些合同从未被公司 AI 系统处理过，比赛模拟了系统首次接触到客户输入文档的真实场景。

结果在准确率上，LawGeex 的人工智能系统取得了平均准确率 94% 的成绩，而人类平均准确率只有 85%。其中，在一份保密协议中，人工智能审查准确率达到了 100%，而人类律师最好成绩为 97%。

在时间上，律师平均花费 92 分钟完成所有保密协议的审查工作。其中，一位律师花了 156 分钟才完成任务，而花费时间最短的律师用时 51 分钟。不过，与此形成鲜明对比的是人工智能完成所有工作的耗时仅为 26 秒。

比赛结果

更加详细的结果

LawGeek 之所以将这次研究聚焦在保密协议上，主要是考虑到它是目前最为常见的商业合同。

每家公司（不论大小）每天都要接触到各种商业合同问题。其中，给定时间下，典型的财富 1000 强公司管理的合同平均数量高达 2 万到 4 万份，但是，83% 的公司都对现有组织的合同管理流程不满。尤其是保密协议，通常需要耗费一个礼拜甚至更长的审查时间，如此漫长的过程不仅让其他部门倍感灰心，也降低了交易速度。

更为糟糕的是，在工作量不降反增的前提下，不少公司却在裁减法律服务的预算。数据显示，在近三分之二的法律部门工作量变多的情况下，只有 28% 的法律部门在招人。但是，鉴于保密协议的战略性地位，特别是公司拥有可能被其他同行利用的商业秘密时，即使是最平淡无奇的保密协议也需要律师审查。

「先让人工智能评估保密协议，就像让律师助理先找出问题所在。律师可以将更多时间花在咨询和更加价值的工作上。」杜克大学法学院法律诊所教授 Erika Buell 说。

LawGeex 的这次研究与以往类似研究不同之处在于，不仅确保了参赛律师确实拥有相关专业知识，研究也保证了所有参赛者是精确完成了同样的任务，是一次名副其实的、旗鼓相当的较量。

预训练的 AI

自然语言处理、机器学习以及其他人工智能技术可被用于多个合同周期环节，比如发现、分析、合规审查等。合规审查和合同管理，已经成为人工智能最为重要的法律应用场景，也是一个不断涌现创新的重要领域。

在此之前，Kira Systems 就与英国欧华律师事务所合作推出了一款基于人工智能的并购交易文件审查系统。该软件能够处理 60 多种形式文件的标准和非标准合同和条款。据介绍，律师审查合同时间被缩短了 20% 至 60%。

成立于 2014 年 12 月的 LawGeex 花了三年时间研发出目前这款基于 AI 的合同审查平台，它将机器学习算法、文本分析技术和专业律师知识结合起来，使用法律团队预定标准，为用户提供深度合同审查服务。据介绍，公司系统可以识别超过十二种不同类别法律合同中的争议问题。

这套预系统使用了定制机器学习和深度学习技术，已接受了数以万计保密合同的训练。

训练建立在独家文档语料集基础上，它们为 LawGeek 算法提供了各种样本，帮助系统识别不同法律概念之间的区别。技术之所以可以实现当前的文档分析水平，离不开过去五年来计算机技术的发展，因为计算机可以将文本转变为数值表征（如下图所示）。

计算机「读懂」文本的方式。每一个点表征语义空间中的一个段落。不同颜色代表不同法律问题。比如，粉色代表竞业禁止问题样本。训练人工智能就像训练一位新的律师，让他接收各种不同的样本案例，这些都是增进法律实践理解的关键。

不过，法言法语（legalese）一直是系统理解法律的一个难点。就合同审查来说，自然语言处理技术和现有办法还无法有条理地阅读「法言法语」。

为此，LawGeeX 创造了一种新的法律「语言（language）」，亦即公司的专利产品——法律语言处理（LLP）和法律语言理解（LLU）模型。让人工智能系统接触各种不同法律文档，掌握法言法语。一旦系统掌握了某个法律术语，训练人员就会指出其他需要识别的概念。LLP 技术让算法识别概念成为可能，即使这些概念以（系统）前所未见的方式出现。

人工智能在法律领域的实践还会遇到第二个痛点：高度精确性。

律师的首要任务就是风险控制甚至降低风险，工作对精确性的要求非常高。相比较大数据「情感」分析（使用既有文本分析技术挖掘不同来源的数据，获取意见，预测趋势），法律人工智能系统训练过程中，单独法律文本分析对准确性有更高的要求。

为此，公司采用了概念（而不是关键词）监测的办法。真正的人工智能可以识别某个概念，无论这个概念以何种方式表达出来或者出现在何处，如此以来，公司的人工智能系统就能以一种远比关键词搜索更为成熟的方式运行。

「我坚信，法学院的学生和高级律师需要理解这些人工智能工具以及其他技术。这些技术将在未来帮助他们成为更好的律师，也将重塑法律实践。」Buell 在给媒体的信件中写道。

人工智能已经对商业活动产生了巨大影响，规模达 6 千亿的法律服务市场已经无法置身事外。

正如近期 Gartner 的一份报告所言，从事法律事务的人工智能创业公司不能仅仅将这些新技术视为「更好、更省钱的战略性投资」，而是应该超越这一立场。当前人工智能的应用已经改善了律师作为可信赖咨询者的基本角色，也将有助于确保法律职业的相关性，并在接下来的十年中，继续维持律师的竞争力。