1. 摘要 多模态摘要（Multi-modal Summarization）是指输入多种模态信息，通常包括文本，语音，图像，视频等信息，输出一段综合考虑多种模态信息后的核心概括。目前的摘要研究通常以文本为处理对象，一般不涉及其他模态信息的处理。然而，不同模态的信息是相互补充和验证的，充分有效的利用不同模态的信息可以帮助模型更好的定位关键内容，生成更好的摘要。本文首先按照任务类型与模态信息是否同步对多模态摘要进行分类；接着介绍多模态表示中的一些基础知识；最后按照任务类型分类，简述了近几年多模态摘要在教学型视频、多模态新闻、多模态输入多模态输出以及会议中的相关工作，最后给出一些思考与总结。 2. 多模态摘要分类 本文按照多模态摘要（1）面向的任务类型（2）模态信息是否同步对该任务进行分类。 图1 按照任务类型进行分类 （2、3）主要为中科院宗成庆老师和张家俊老师的工作。 （4）多模态会议摘要，指给定一段会议，包含了会议的视频，每个参与者说话的音频信息，需要生成一个会议摘要。图2 按照模态信息是否同步进行分类 3. 多模态表示基础 这一小节，我们将引入一些多模态表示的基础知识，包括多模态序列到序列模型中的注意力机制，多模态词表示以及多模态预训练模型。 图3 多模态生成注意力机制 [1] ，提出了如何在序列到序列框架下对多模态源数据进行 attention。如图3，绿色和蓝色分别代表两种模态的编码端隐层表示，灰色为解码器隐层状态，橙色为注意力向量。假设我们有多种模态的 Encoder，叫做 Multi Encoder，在编码之后，每一个模态会有一个向量序列隐层表示。论文共提出三种注意力机制：（1）第一种方法是flat，即平滑所有编码器端隐层表示。使用解码器隐层状态对平滑后的编码器隐层表示计算注意力得分，最终得到注意力向量；（2）第二种方法是 concat，利用解码器隐层状态分别对两个序列计算得分，并得到分别的注意力向量，然后将多个注意力向量进行拼接并转换到统一维度。（3）第三种方法是 hierarchical，首先得到两个模态对应的注意力向量，然后再利用解码器隐层表示对两个注意力向量计算权重分布，最后根据权重融合多个注意力向量。作者在多模态机器翻译任务上进行实验，发现 hierarchical 的方式是效果最好的，后人的工作基本采用的也都是 hierarchical 的注意力机制。图4 讨厌词语表示示例 [2] 。核心想法是利用非语言的特征，例如视频和音频来调整词语的表示。举个例子，对于词语讨厌，讨厌在中文中是可以有很多含义的，比如真的讨厌，是一个负向的情感，也可能是女朋友的撒娇，是正向的情感。因此，仅仅根据文本，给定固定的词语表示可能会使得词语语义表示不充分，无法很好地利用到下游任务之中。论文认为引入多模态信息可以缓解这一问题，如图4。当我们提供一个白眼图片信息，讨厌词语表示可以被调整到蓝色点位置。当我们提供另一个图片信息，讨厌词语表示可以被调整到橙色位置。也就是利用非语言模态中的信息补充词语表示的语义信息，使得词语表示更加的合适，或者换一种说法：更加的多模态信息上下文敏感（context sensitive）。图5 RAVEN 模型 图6 Unicoder-VL 模型 [3] 。输入部分包括了图片和文本两种模态的信息。对于图片，首先使用工具 Faster R-CNN 抽取其中的具体意义部分，例如卡车，树，马路等，同时会得到对应的特征向量表示及位置信息表示。如图6，模型输入分为三个部分。对于图片，词向量都是 [IMG]，segment 都是 img，position 都是 1，除此以外，在进入模型之前需要额外输入：（1）每一个图片的特征向量；（2）图片位置特征。文本部分与 BERT 一致。预训练任务共有三个，其中 MLM 和 MOC 分别是遮盖文字和遮盖图片然后进行预测，VLM使用 [CLS] 标签表示判断输入的图片和文本是否是匹配的。4. 教学型视频摘要 本小节介绍教学型视频（How2）多模态摘要的相关论文。 图7 How2 数据集示例 [4] ，发表于 NIPS18，名字来源于 how to do sth，该数据集主要描述教学型视频，如图7，为一个高尔夫教学视频。该数据集包括了视频信息，作者讲解的音频信息，文本信息以及最终的摘要。一共包括了 2000 小时的视频，主题包括运动，音乐，烹饪等。摘要平均 2 到 3 句话。图8 How2 数据集多模态模型 [5] 在ACL19上提出了基础的多模态摘要模型用于教学型视频摘要任务，如图8。其模型包括了视频编码器，文本编码器与解码器。视频编码器采用的是 ResNext-101 3D 模型，可以识别 400 种人类的行为动作。文本编码器为基于 RNN 的编码器。在得到两种模态数据的隐层表示之后，结合层次化注意力机制生成最终摘要。实验证明融合文本与视频的模型可以取得最优的效果。5. 多模态新闻摘要 图9 抽取式多模态新闻摘要 [6] 提出了一种抽取式多模态摘要的方法。抽取式摘要的目的是从句子集合中选取一个子集合作为最终摘要。那么对于多模态的输入来讲，这个句子集合分为两个部分。一个是文档句子，另一个是视频的 transcripts，共同作为句子集合，如图9。抽取式方法的核心是给每个句子一个打分。最简单的我们可以使用 TextRank，LexRank 这些基于相似度的方法给每个句子一个打分。但是现在引入了多模态的信息，因此我们可以利用这些多模态的信息进行改进。图10 改进的 LexRank 图11 图文匹配得分 图12 多模态句子摘要 [7] 提出了多模态句子摘要任务，输入句子和一张图片，输出一个句子摘要，如图12，并构建了任务数据集，作者利用现有 Gigaword 英文数据集去网上检索了每个句子对应的top5 的相关图片，然后又人工选取了其中最合适的一张。最终得到 train，valid, test 的划分分别是 62000，2000，2000。由于图片并非原来数据集自带，因此通过外部得到的图片也可能引入一定的噪音。图13 多模态句子摘要模型 6. 多模态输入多模态输出摘要 本节介绍多模态输入多模态输出（Multimodal Summarization with Multimodal Output，MSMO）的相关工作。 图14 MSMO 多模态摘要 [8] ，作者提出了一个新的多模态摘要任务，输入是多模态的，输出也是多模态的。具体为：输入文本以及几张相关的图片，输出对应的摘要，同时从输入图片中选取一张最重要的图片，如图14。作者提出的模型基础架构与之前类似，包括文本编码器，图片编码器，解码器以及层次化注意力机制。因为该任务的特点在于需要从输入图片中选择一个最重要的图片，作者设计了一种 Visual Coverage 机制来实现，这部分下面会详细介绍。同时作者为了衡量最终的摘要效果，提出了一个考虑多种模态的衡量指标 MMAE，ROUGE 针对文本，image precision 是指选择的图片是否在标准图片中，取值为 0 或 1。image-textrelevance 是指利用外部工具计算最终摘要与选择图片的匹配得分，最后使用逻辑斯蒂回归组合三种得分。为了完成该任务，作者构建了相关数据集，利用现有 Daily Mail 数据集，得到原始对应的相关图片，并使用人工选择至多三张图片作为标准图片。图15 Visual Coverage 机制 图16 MSMO 任务引入多模态监督信号 [9] 认为之前的摘要模型仅仅利用文本标注进行训练，忽略了图片标注的利用。这篇工作除了利用摘要生成时候的文本损失，还利用图片选择的分类损失，如图16。具体来讲，在得到每一个图片的全局表示之后，与解码器的最后一个隐层状态进行相似度计算，然后归一化概率选择图片。但是目前的数据集具有多个图片标准标注，没有唯一的图片标注，因此为了在训练时提供图片监督信号，作者提出了两种构建唯一标注图片标注的方式：（1）ROUGE-ranking，对于每一个图片有一个与之对应的描述（caption），利用该描述与标准文本摘要计算 ROUGE 得分，最终选择 ROUGE 得分最高的描述对应的图片作为唯一标准标注图片；（2）Order-ranking，根据数据集中的图片顺序选择第一个。7. 多模态会议摘要 本小节介绍多模态会议摘要的相关工作。Improving Productivity Through NLP, Microsoft 指出职员需要花费 37% 的工作时间用于参加会议，每个会议平均会陈述 5000 个词语。如此频繁的会议和冗长的内容给职员造成了极大的负担，因此会议摘要可以帮助快速的总结会议决策信息，提问信息，任务信息等核心内容，缓解职员压力，提高工作效率。但是仅仅利用会议文本信息是不够的，多模态信息，例如视频、音频可以提供更加充足和全方面的信息，例如有人加入了会议，离开了会议；通过一些动作，语音语调，面部表情，识别讨论是否有情绪，是否有争论等等。因此多模态会议摘要逐渐得到了人们的关注。 图17 多模态会议摘要 [10] 提出利用多模态特征来定位会议中的重要内容。如图17，一共从三个模态建立特征。音频方面，有两个特征，一个是单位时间窗口内，声音方向的变换次数以及声音幅度。视觉方面，是两个相邻的 frame 的亮度变化。文本方面是 TF-IDF 特征。通过结合上述三种模态的特征来最终定位关键内容。图18 多模态抽取式摘要 [11] 使用神经网络来完成抽取式会议摘要任务。融合视频信息，动作信息，声音信息以及文本信息来定位会议关键内容，如图18。图19 多模态生成式摘要 [12] 提出在生成式会议摘要中融入多模态特征 Visual Focus Of Attention (VFOA)。作者认为，当一个参与者在发表言论的时候，如果其他人都关注该说话人，那么表示该说话人当前陈述的句子比较重要。因此，对于会议中的一句话，会对应四位参与者的视频，每个视频是由一组frame 组成的。每个 frame 会对应一个五维度的特征，如图19，将该特征输入到神经网络中，预测该视频 frame 中参与者目前正在关注的目标（在数据集中有标准标注）。训练好以后，对于会议中的一句话，将四位参与者的对应视频信息输入到网络中得到输出，进行拼接，得到该句子的 VFOA 特征向量。在解码会议摘要时，会利用到该视觉特征向量进行解码。8. 总结 本文从任务分类的角度，简单介绍了多模态摘要的相关工作。尽管多模态摘要已经取得了一定的进展，但是依旧存在以下几个关键点值得认真思考： （1）现有模型结构简单。现有模型架构基本为序列到序列模型结合层次化注意力机制，不同的工作会依据任务特点进行一定的改进。为了更有效的融合多模态信息，发挥模态信息的交互互补作用，在目前架构的基础上，应该思考更加合适的架构。 （2）不同模态信息交互较少。现有工作模态融合的核心在于层次化注意力机制，除此以外，不同模态信息缺少显式的交互方式，无法充分的发挥模态信息之间的互补关系。 （3）依赖于人工先验知识。通常来讲，需要人为预先选择不同类型的预训练特征抽取模型进行特征提取，这一过程依赖于很强的人工判断来预先决定有效的特征，需要一定的领域专业知识。 （4）数据隐私性考虑少。多模态数据在提供更丰富信息的同时，也给数据保密带来了一定的挑战。例如多模态会议数据，其中的声纹特征与脸部特征都是非常重要的个人隐私信息。因此在实际落地中需要充分考虑数据隐私性问题。 （5）单一文本输出缺少多样性。现有工作已经开始尝试多模态输入多模态输出，当输出摘要包含多种模态时，可以满足更广泛人群的需求。例如对于语言不熟悉时，可以通过视频和图片快速了解重要内容。在未来多模态摘要输出也将成为一个重要的研究关注点。 总体而言，在多模态火热发展的大背景下，多模态摘要作为其中的一个分支既具有多模态学习的共性问题，也具有摘要任务自身的个性问题，该任务在近几年开始蓬勃发展，在未来也会成为一个重要的研究方向。 [1]Jindřich Libovický and Jindřich Helcl. Attention strategies for multi-source sequence-to-sequence learning. ACL 2017. https://www.aclweb.org/anthology/P17-2031
[2]Yansen Wang, Ying Shen, Zhun Liu, P. P. Liang, Amir Zadeh, and Louis-Philippe Morency. Words can shift: Dynamically adjusting word representations using nonverbal behaviors. AAAI 2019.
[3]Gen Li, N. Duan, Yuejian Fang, Daxin Jiang, and M. Zhou. Unicoder-vl: A universal encoder forvision and language by cross-modal pre-training. AAAI 2020.
[4]R. Sanabria, Ozan Caglayan, Shruti Palaskar, Desmond Elliott, Loïc Barrault, Lucia Specia,and F. Metze. How2: A large-scale dataset for multimodal language understanding. NeurIPS 2018.
[5]Shruti Palaskar, Jindřich Libovický, Spandana Gella, and F. Metze. Multimodal abstractive summarization for how2 videos. ACL 2019.
[6]Haoran Li, Junnan Zhu, C. Ma, Jiajun Zhang, and C. Zong. Multi-modal summarization forasynchronous collection of text, image, audio and video. 2017.
[7]Haoran Li, Junnan Zhu, Tianshang Liu, Jiajun Zhang, and C. Zong. Multi-modal sentence summarization with modality attention and image filtering. IJCAI 2018.
[8]Junnan Zhu, Haoran Li, Tianshang Liu, Y. Zhou, Jiajun Zhang, and C. Zong. Msmo: Multimodal summarization with multimodal output. EMNLP 2018.
[9]Junnan Zhu, Yin qing Zhou, Jiajun Zhang, Haoran Li, Chengqing Zong, and Changliang Li. Multimodal summarization with guidance of multimodal reference. AAAI 2020.
[10]B. Erol, Dar-Shyang Lee, and J. Hull. Multimodal summarization of meeting recordings. ICME 2003.
[11]Fumio Nihei, Yukiko I. Nakano, and Yutaka Takase. Fusing verbal and nonverbal information forextractive meeting summarization. GIFT 2018.
[12]Manling Li, L. Zhang, H. Ji, and R. Radke. Keep meeting summaries on topic: Abstractive multimodal meeting summarization. ACL 2019.
PRO会员通讯
