说说被NLP忽视的逗号

逗号是很常用的一个标点符号。在国家技术监督局颁布的《标点符号用法》GB/T15834-2011中，汉语的逗号的功能主要有以下四种：

1.句子内部主语与谓语之间的停顿：

2.句子内部动词与宾语之间的停顿：

3.句子内部状语后边的停顿：

4.复句内各分句之间的停顿：

逗号的使用很灵活，经常和句号混用，汉语中有“一逗到底”的现象，也就是一个大段落中，只有最后一个句号，其他需要用到句号都使用逗号了。一个句子中，逗号使用越多，句子长度越长，其中包含的语言现象就越复杂，如下例所示：

逗号的4种功能中，第4种“复句内各分句之间的停顿”，和其他几个差别较大，也是逗号最重要的功能，作为句子切分符号。所以对逗号的处理，关键是识别它是否是句子切分符。

如果逗号不是句子切分符，而是前3种功能之一，那么，逗号并不影响前后内容的连贯性，即使去掉逗号，句子的含义也没有变化。

如果逗号是句子切分符，逗号实际上把前后两个分句分隔开了，对这两个分句完全可以独立进行句法语义分析，而不用考虑另外一个分句对它的影响。当然，分句间经常会有省略主语的现象，这可以激活另外一个独立模块来处理，而不用混杂在一起。

当前主流的机器学习、深度学习技术，对逗号的处理，基本都是简单粗暴。要么以句号为句子切分符，对逗号完全忽略，这导致一个句子过于复杂，处理难度指数级增长；要么以逗号为句子切分符，全部切开，这导致句子的上下文信息无法有效利用。据统计，在一般的书面语中，只有50%左右的逗号，作为句子切分符，这使得上述两种方法都很难达到较好的效果。因此，当前的技术对逗号的处理能力都很弱。

以忽略逗号的方法为例，句子是以句号为单位，把逗号当做无意义符号过滤掉，进行预训练和匹配。这样的处理，本质上增加了NLP的混淆度，因为在向量空间中，引入了跨逗号的上下文信息，而这些信息从语言的角度，有很多是完全不相关的，属于信息噪声。如上面例子中“......形成流体密封，以防止注入......”，这里的跨逗号上下文信息，没有任何的语言学相关性。

神州泰岳人工智能研究院，与国内著名高校北京师范大学合作，将符号化语义表示与深度学习技术进行结合，形成了自主知识产权的智慧语义认知技术UltraNLP。智慧语义认知技术，将逗号当做一个特殊的语言特征来进行形式化表示，将逗号带来的小句切分和句间语义关系等问题进行上下文关联处理。逗号的处理分解为五个环节，下面分别说明。

为了表示逗号的功能，我们给每一个逗号后面都要标注相应的切分标记。逗号后的切分标记根据是否独立成句分为以下两种：

如下面的例子，其中第一个逗号前不是一个完整的小句，标注了“|DBT”，它将和第二个小句合并成为一个小句；第二、三个逗号前都是完整的小句，标注了“|SST”。需要说明的是，一般句号默认会有“|SST”标记。

对逗号的SST标记和DBT标记识别的依据，主要是句子的完整性判断，也就是判断逗号前是否具有句子的核心动词，如果有，则给出SST标记，否则，给出DBT标记。在给出标记的同时，可以给出标记的属性值，用LC_EXP表示。

SST标记的LC_EXP属性取值，共有5个，分别表示逗号前的小句是核心小句（SS_CORE）、非核心小句（SS）、句蜕小句（SS_JT）、EK块（SS_EK)、缺GBKn的小句（SS_NGBKn）。这些属性是对小句内部的语义结构，进行总体描述而抽象出的。

DBT标记的LC_EXP属性取值，共有5个，这些属性分别对逗号前的字符串整体角色进行说明：

我们用SHR属性来标记逗号前后紧邻两个小句间的共享关系。根据小句之间是否存在语言成分共用的情况，可以分为共享、半共享、无共享等情况。SHR具体取值及说明如下：

下面给出几个示例，其中SHR属性用红色标示，“[]”中包含的内容，是省略的内容，原始句子中没有。

判断小句之间是否存在共享关系，首先就要考察是否有小句存在语义块缺省的情况，如果有省略，一般优先考虑三种情况：共享上一个小句的最后一个块；共享上一句的第一个块；或共享第一个小句的第一个块。需要根据上下文信息具体判断。

一个句号中的多个逗号切分的小句，虽然形式上是一样的，实质上它们之间有层次。我们把这种层次也作为一个属性标示在SST符之上，用LEVEL属性来表示。一般情况下，LEVEL=1，表示这个逗号前的小句是核心小句，一个句号中经常可以有多个LEVEL=1的小句。

下例中第一个小句是核心小句，其逗号后标示有LEVEL=1，第四个逗号和其后的句号，是“说明”的主体内容，标示有LEVEL=2，第二个和第三个逗号前的内容是一个小句，是后面小句“是”的指示对象，标示有LEVEL=3：

这里的逗号的层次，如果翻译成英文，看起来会更直观一些，层次较低的小句，一般翻译为英文的从句。示例对应的英文如下。

逗号的层次识别，可以根据句间连词等显式标记词来判定，如表因果关系的“因为......，所以......”，后一个小句的层次高于前一个小句。对没有句间连词的小句，只能通过上下文，来判断小句间语义的包含关系或递进关系。

在逗号的层次识别中，我们一般处理的是两个相邻小句之间的关系，从而给出相邻小句两两之间的层次。如果有多个逗号的话，在相邻两两关系确定后，对于每个小句和LEVEL=1的核心小句之间的语义关系，则需要利用其中的并列关系、递进关系等来进行传递。

我们来看下上节例子中的传递。示例共有4个小句，发生了2次小句关系的传递。

上面的例子是小句关系向后传递的，也可以有向前传递。看下面示例。

示例共有3个小句，小句②和小句③是SS_EG_EL关系，其中，小句③是核心小句，其LEVEL=1。由于小句②和小句①是并列关系SS_AND，因此小句③和小句①也是SS_EG_EL关系。

通过上述五个环节的处理，我们可以对每个逗号，都标示出其切分功能（SST或DBT），并通过形式化属性，给出逗号前小句的抽象描述（LC_EXP属性），给出逗号之间的语义关系（QFC属性），并给出逗号的层次。

我们可以从上述逗号处理中得到如下启示：

认识、尊重每一个语言特征，是NLP人必须具备的基本素养。