2024/05/08 10:34

低质多模态数据融合，多家机构联合出了篇综述论文

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

多模态融合是多模态智能中的基础任务之一。

多模态融合的动机在于联合利用来自不同模态的有效信息提升下游任务的准确性和稳定性。传统的多模态融合方法往往依赖高质量数据，难以适应现实应用中的复杂低质的多模态数据。

由天津大学、中国人民大学、新加坡科技研究局、四川大学、西安电子科技大学以及哈尔滨工业大学（深圳）共同发布的低质多模态数据融合综述《Multimodal Fusion on Low-quality Data:A Comprehensive Survey》从统一视角介绍了多模态数据的融合挑战，并针对低质多模态数据的现有融合方式及该领域潜在的发展方向进行了梳理。

arXiv链接：

http://arxiv.org/abs/2404.18947

awesome-list链接：

https://github.com/QingyangZhang/awesome-low-quality-multimodal-learning

传统多模态融合模型

人类通过融合多个模态的信息对世界进行感知。

即使某些模态的信号不可靠时，人类也具备处理这些低质量多模态数据信号并感知环境的能力。

尽管多模态学习已取得了长足的发展，多模态机器学习模型仍缺乏有效融合真实世界中低质量多模态数据的能力。实践经验中，传统多模态融合模型的性能在以下场景下会存在显著下降：

（1）噪声多模态数据：部分模态的某些特征受噪声扰动而丢失了原有的信息。真实世界中，未知的环境因素、传感器故障、信号在传输过程中的丢失都可能引入噪声的干扰，进而损害多模态融合模型的可靠性。

（2）缺失多模态数据：由于各种现实因素，实际收集到的多模态数据样本的某些模态可能存在缺失。例如在医学领域，病人的各项生理检查结果所构成的多模态数据可能存在严重的缺失现象，某些病人可能从未做过某一项检查。

（3）不平衡多模态数据：由于模态之间的异质编码属性和信息质量差异存在不一致的现象，进而导致模态间学习不平衡问题的出现。多模态融合过程中，模型可能过度依赖某些模态，而忽视其他模态所包含的潜在有效信息。

（4）动态低质的多模态数据：由于应用环境的复杂多变，不同样本、不同时空，模态质量具有动态变化特性。低质模态数据的出现往往难以提前预知，这为多模态融合带来了挑战。

为了充分刻画低质量多模态数据的性质及处理方法，该文章对目前的低质量多模态融合领域的机器学习方法进行了总结，系统回顾了该领域的发展过程，并进一步展望了需进一步研究的问题。

^{图1. 低质量多模态数据分类示意图，黄色和蓝色代表两个模态，颜色越深代表质量越高}

多模态融合中的去噪方法

问题定义：

噪声是导致多模态数据质量下降的最常见原因之一。

本文主要关注两类噪声：

（1）模态相关的多模态噪声。这类噪声可能是由于传感器误差（如医疗诊断中的仪器误差）、环境因素（如自动驾驶中的雨雾天气）等因素导致，噪声局限于某个特定的模态内部的某些特征层面上。

（2）语义级别的跨模态噪声。这类噪声是由模态之间高层语义的不对齐现象导致，相比于特征层的多模态噪声更难以处理。幸运的是，由于多模态数据模态之间的互补性和信息的冗余性，在多模态融合过程中，联合多个模态的信息进行去噪已被证明是行之有效的策略。

方法分类：

特征级别的多模态去噪方法高度依赖于实际任务中所涉及到的具体模态。

本文主要以多模态图像融合任务为例进行说明。在多模态图像融合中，主流的去噪方法包括加权融合及联合变分两大类。

加权融合方法考虑到特征噪声具有随机性而真实数据服从特定分布，进而通过加权求和的方式消除噪声的影响；

联合变分方法则是对传统单模态图像变分去噪的拓展，能够将去噪过程转化为优化问题的求解过程，并利用来自多个模态的互补性信息来提升去噪效果。语义级别的跨模态噪声由弱对齐或不对齐的多模态样本对导致。

例如，在联合RGB和热感图像的多模态目标检测任务中，由于传感器的差异，尽管同一个目标在两个模态中都有出现，但是其精准的位置和姿态在不同的模态中可能略有不同（弱对齐），为精准估计位置信息带来了挑战。

在社交媒体的内容理解任务中，一个样本（例如一条微博）的图像和文本模态所包含的语义信息可能相差甚远，甚至毫不相干（完全不对齐），这进一步为多模态融合带来更大的挑战。处理跨模态语义噪声的方式包括规则过滤、模型过滤、噪声鲁棒的模型正则化等方法。

未来展望：

尽管对数据噪声的处理早已在经典机器学习任务中得到了广泛的研究，但在多模态场景下，如何联合利用模态之间的互补性和一致性以弱化噪声的影响依然是一个亟待解决的研究问题。

此外，与传统的特征级别的去噪不同，如何在多模态大模型的预训练和推断过程中解决语义级别的噪声是有趣且极富挑战性的问题。

^{表1. 针对噪声的多模态融合方法分类}

缺失多模态数据融合方法

问题定义：

真实场景下所收集的多模态数据往往是不完整的，由于存储设备损坏、数据传输过程的不可靠等各种因素，多模态数据时常不可避免的丢失掉部分模态的信息。

例如：在推荐系统中，用户的浏览记录和信用等级等构成了多模态的数据，然而，由于权限和隐私问题，往往无法完全收集到用户所有模态的信息来构建多模态学习系统。

在医疗诊断中，由于某些医院的设备有限、特定的检查成本较高，不同的病人的多模态诊断数据往往也是高度不完整的。

方法分类：

按照「是否需要显式的对缺失多模态数据进行补全」的分类原则，缺失多模态数据融合方法可分为：

（1）基于补全的多模态融合方法

基于补全的多模态融合方法包括模型无关的补全方法：例如直接通过对缺失模态填充0值或残余模态的均值的补全方法；

基于图或核的补全方法：这类方法不直接学习如何补全原始多模态数据，而是为每个模态构造图或核，进而学习样本对之间的相似度或关联度信息，进而对缺失数据进行补全；

直接在原始特征级别进行补全：部分方法利用生成模型，如生成对抗网络GAN及其变体直接补全缺失的特征。

（2）无需补全的多模态融合方法。

与基于补全的方法不同，无需补全的方法重点关注如何利用未缺失的模态所包含的有用信息融合出尽可能好的表征，这类方法往往对期望学习到的统一表征添加约束，使得此表征能够体现可观察到的模态数据的完整信息，以绕开补全过程进行多模态融合。

^{图2. 基于补全的缺失多模态数据融合方法分类}

未来展望：

尽管目前国内外已提出了许多方法来解决聚类、分类等经典机器学习任务中的不完整多模态数据融合问题，但依然存在一些更深层次的挑战。

例如：关于缺失模态补全方案中的补全数据的质量评估通常被忽视。

此外，利用先验缺失数据位置信息屏蔽缺失模态的策略本身难以弥补模态缺失带来的信息鸿沟和信息不平衡问题。

^{表2. 针对缺失多模态数据的融合方法分类}

平衡的多模态融合方法

问题定义：

在多模态学习中，通常用联合训练的方式整合不同模态数据以提高模型的整体性能和泛化表现。然而，这类广泛采用的、使用统一学习目标的联合训练范式忽略了不同模态数据的异质性。

一方面，不同模态在数据来源及形式方面的异质性，使得它们在收敛速度等方面具有不同的特点，从而使所有模态难以同时得到很好的处理和学习，给多模态联合学习带来了困难；

另一方面，这种差异也反映在单模态数据的质量上。尽管所有模态都描述了相同的概念，但它们与目标事件或目标对象相关的信息量却各不相同。基于最大似然学习目标的深度神经网络具有贪婪学习的特点，导致多模态模型往往依赖于具有高判别信息的、较易学习的高质量模态，而对其他模态信息建模不足。

为了应对这些挑战并提高多模态模型的学习质量，平衡多模态学习的相关研究最近得到了广泛关注。

方法分类：

按照平衡角度的不同，可将相关方法分为基于特性差异的方法和基于质量差异的方法。

（1）广泛使用的多模态联合训练框架往往忽视了单模态数据固有的学习属性差异，这可能会对模型的性能产生负面影响。基于特性差异的方法是从每种模态在学习特性上的差异入手，在学习目标、优化、架构方面尝试解决这一问题。

（2）最近的研究进一步发现，多模态模型往往严重依赖于某些高质量信息模态，而忽略了其他模态，导致对所有模态学习不足。基于质量差异的方法从这一角度入手，从学习目标、优化方法、模型架构和数据增强的角度尝试解决这一问题并促进多模态模型对不同模态的均衡利用。

^{表3. 平衡多模态数据融合方法分类}

未来展望：

平衡多模态学习方法主要针对多模态数据的异质性所导致的不同模态间学习特性或数据质量上的差异。这些方法从学习目标、优化方法、模型架构和数据增强等不同角度提出了解决方案。

平衡多模态学习当前是一个蓬勃发展的领域，有很多理论和应用方向还没有得到充分探索。例如，目前的方法主要局限于典型的多模态任务，其大多是判别性任务和少数生成性任务。

除此以外，多模态大模型也需要联合具有不同质量的模态数据，也存在这种客观上的不平衡问题，据此期望在多模态大模型场景中扩展现有研究或设计新的解决方案。

动态多模态融合方法

问题定义：

动态多模态数据指的是模态的质量随输入样本、场景的不同而动态改变。例如自动驾驶场景中，系统通过RGB和红外传感器获取路面和目标信息，在光照较好的情况下，RGB摄像头由于能够捕捉目标的丰富纹理和色彩信息，可以更好地支持智能系统的决策；

然而在光照不足的夜间，红外传感器提供的感知信息则更为可靠。如何使得模型能够自动感知到不同模态质量的变化，从而进行精准和稳定的融合，是动态多模态融合方法的核心任务。

^{表4. 动态多模态融合方法分类}

方法分类：

动态多模态融合方法可以大致分为三类：

（1）启发式动态融合方法：

启发式动态融合方法依赖算法设计者对多模态模型应用场景的理解，一般通过针对性地引入动态融合机制来实现。

例如，在RGB/热感信号协同的多模态目标检测任务中，研究者启发式地设计了光照感知模块以动态评估输入图像的光照情况，并基于光照强度动态调节RGB和热感模态的融合权重进行环境适应。当亮度较高时，主要依赖RGB模态进行决策，反之则主要依赖热感模态进行决策。

（2）基于注意力机制的动态融合方法：

基于注意力机制的动态融合方法主要聚焦于表示层融合。注意力机制本身就具有动态特性，因此，可以自然地用于多模态动态融合任务。

Self-attention、Spatial attention、Channel attention以及Transformer等多种机制被广泛用于多模态融合模型的构建。这类方法在任务目标的驱动下自动地学习如何进行动态融合。基于注意力机制的融合，在缺乏显式或者启发式引导情况下也能够一定程度上适应动态低质量的多模态数据。

（3）不确定性感知的动态融合方法：

不确定性感知的动态融合方法往往具有更加清晰、可解释的融合机制。与基于注意力机制的复杂融合模式不同，不确定性感知的动态融合方法依靠对模态的不确定性估计（如证据、能量、熵等）来适应低质量多模态数据。

具体地，不确定性感知能够用于刻画输入数据各个模态的质量变化情况。当输入样本的某个模态质量变低时，模型基于该模态决策的不确定性随之变高，为后续融合机制设计提供明确指导。此外，相比于启发式和注意力机制，不确定性感知的动态融合方法可以提供良好的理论保证。

未来展望：

尽管在传统的多模态融合任务中，不确定性感知的动态融合方法的优越性已经从实验和理论上得到了证明，但是，在SOTA的多模态模型（不限于融合模型，如CLIP/BLIP等）中，动态性的思想还具有较大挖掘和应用潜力。

此外，具有理论保证的动态融合机制往往局限于决策层面，如何使得其在表征层发挥作用也值得思考和探索。

理论多模态融合

相关数据

权重技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源：Google AI Glossary

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

收敛技术

在数学，计算机科学和逻辑学中，收敛指的是不同的变换序列在有限的时间内达到一个结论（变换终止），并且得出的结论是独立于达到它的路径（他们是融合的）。通俗来说，收敛通常是指在训练期间达到的一种状态，即经过一定次数的迭代之后，训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说，如果采用当前数据进行额外的训练将无法改进模型，模型即达到收敛状态。在深度学习中，损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变，暂时形成收敛的假象。

来源：Wikipedia Google ML glossary

多模态学习技术

现实世界中的信息通常以不同的模态出现。例如，图像通常与标签和文本解释联系在一起;文本包含图像以便更清楚地表达文章的主要思想。不同的模态由迥异的统计特性刻画。例如，图像通常表示为特征提取器的像素强度或输出，而文本则表示为离散的词向量。由于不同信息资源的统计特性不同，发现不同模态之间的关系是非常重要的。多模态学习是一个很好的模型，可以用来表示不同模态的联合表示。多模态学习模型也能在观察到的情况下填补缺失的模态。多模态学习模型中，每个模态对应结合了两个深度玻尔兹曼机（deep boltzmann machines）.另外一个隐藏层被放置在两个玻尔兹曼机上层，以给出联合表示。

来源：Wikipedia

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集（或特征）的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的，这让「神经网络在执行预测任务时可以更多关注输入中的相关部分，更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时，源句子中仅有少部分是相关的；因此，可以应用一个基于内容的注意力机制来根据源句子动态地生成一个（加权的）语境向量（context vector）, 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

来源：机器之心

推荐系统技术

推荐系统（RS）主要是指应用协同智能（collaborative intelligence）做推荐的技术。推荐系统的两大主流类型是基于内容的推荐系统和协同过滤（Collaborative Filtering）。另外还有基于知识的推荐系统（包括基于本体和基于案例的推荐系统）是一类特殊的推荐系统，这类系统更加注重知识表征和推理。

来源：机器之心

正则化技术

当模型的复杂度增大时，训练误差会逐渐减小并趋向于0；而测试误差会先减小，达到最小值后又增大。当选择的模型复杂度过大时，过拟合现象就会发生。这样，在学习时就要防止过拟合。进行最优模型的选择，即选择复杂度适当的模型，以达到使测试误差最小的学习目的。

来源：李航著统计学习方法清华大学出版社

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。

来源：维基百科

生成对抗网络技术

生成对抗网络是一种无监督学习方法，是一种通过用对抗网络来训练生成模型的架构。它由两个网络组成：用来拟合数据分布的生成网络G，和用来判断输入是否“真实”的判别网络D。在训练过程中，生成网络-G通过接受一个随机的噪声来尽量模仿训练集中的真实图片去“欺骗”D，而D则尽可能的分辨真实数据和生成网络的输出，从而形成两个网络的博弈过程。理想的情况下，博弈的结果会得到一个可以“以假乱真”的生成模型。

来源：Generative Adversarial Networks

深度神经网络技术

深度神经网络（DNN）是深度学习的一种框架，它是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。

来源：机器之心 Techopedia

聚类技术

将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。“物以类聚，人以群分”，在自然科学和社会科学中，存在着大量的分类问题。聚类分析又称群分析，它是研究（样品或指标）分类问题的一种统计分析方法。聚类分析起源于分类学，但是聚类不等于分类。聚类与分类的不同在于，聚类所要求划分的类是未知的。聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。

来源：百度百科

机器之心机构

机器之心，成立于2014年，是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系，为各类人工智能从业者提供综合信息服务和产业服务。

https://www.jiqizhixin.com/