2024/06/03 15:58

物理传热启发的视觉表征模型vHeat来了，尝试突破注意力机制，兼具低复杂度、全局感受野

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文作者为VMamba的原班人马，其中第一作者王兆植是中国科学院大学和鹏城实验室的2022级联合培养博士生，共同一作刘悦是中国科学院大学2021级直博生。他们的主要研究方向是视觉模型设计和自监督学习。

如何突破 Transformer 的 Attention 机制？中国科学院大学与鹏城国家实验室提出基于热传导的视觉表征模型 vHeat。将图片特征块视为热源，并通过预测热传导率、以物理学热传导原理提取图像特征。相比于基于Attention机制的视觉模型， vHeat 同时兼顾了：计算复杂度（1.5次方）、全局感受野、物理可解释性。

vHeat-base 模型在高分辨率图像输入时，throughput、GPU 显存占用、flops 分别是 Swin-base 模型的3倍、1/4、3/4，在图像分类、目标检测、语义/实例分割等基础下游任务上达到了先进的性能表现。

论文地址: https://arxiv.org/pdf/2405.16555
代码地址: https://github.com/MzeroMiko/vHeat
论文标题：vHeat: Building Vision Models upon Heat Conduction

Overview

CNN 和视觉 Transformer（ViT）是当前最主流的两类基础视觉模型。然而，CNN的性能表现受限于局部感受野和固定的卷积核算子。ViT 具有全局依赖关系的表征能力，然而代价是高昂的二次方级别计算复杂度。我们认为 CNN 和 ViT 的卷积算子和自注意力算子都是特征内部的像素传播过程，分别是一种信息传递的形式，这也让我们联想到了物理领域的热传导。于是我们根据热传导方程，将视觉语义的空间传播和物理热传导建立联系，提出了一种 1.5 次方计算复杂度的视觉热传导算子（Heat Conduction Operator, HCO），进而设计出了一种兼具低复杂度、全局感受野、物理可解释性的视觉表征模型 vHeat。HCO 与 self-attention 的计算形式和复杂度对比如下图所示。实验证明了 vHeat 在各种视觉任务中表现优秀。例如 vHeat-T 在 ImageNet-1K 上达到 82.2% 的分类准确率，比 Swin-T 高 0.9%，比 Vim-S 高1.7%。性能之外，vHeat 还拥有高推理速度、低 GPU 显存占用和低 FLOPs 这些优点。在输入图像分辨率较高时，base 规模的 vHeat 模型相比于 Swin 达到 3 倍吞吐量、1/4 的GPU显存占用和 3/4 的 FLOPs。

方法介绍

用表示点在 t 时刻下的温度，物理热传导方程为，其中 k>0，表示热扩散率。给定 t=0 时刻下的初始条件，该热传导方程可以采用傅里叶变换求得通解，表示如下：

其中和分别表示傅里叶变换和逆傅里叶变换，表示频域空间坐标。

我们利用 HCO 来实现视觉语义中的热传导，先将物理热传导方程中的扩展为多通道特征，将视为输入，视为输出，HCO 模拟了离散化形式的热传导通解，如下公式所示：

其中和分别表示二维离散余弦变换和逆变换，HCO 的结构如下图 (a) 所示。

此外，我们认为不同图像内容应该对应不同的热扩散率，考虑到的输出在频域中，我们根据频率值来决定热扩散率，。由于频域中不同位置表示了不同的频率值，我们提出了频率值编码（Frequency Value Embeddings, FVEs）来表示频率值信息，与 ViT 中的绝对位置编码的实现和作用类似，并用 FVEs 对热扩散率 k 进行预测，使得 HCO 可以进行非均匀、自适应的传导，如下图所示。

vHeat 采用多层级的结构实现，如下图所示，整体框架与主流的视觉模型类似，其中的 HCO layer 如图 2 (b) 所示。

实验结果

ImageNet分类

通过对比实验结果不难看出，在相似的参数量和 FLOPs 下:

vHeat-T 取得了 82.2% 的性能，超过 DeiT-S 达 2.4%、Vim-S 达 1.7%、Swin-T 达 0.9%。
vHeat-S 取得了 83.6% 的性能，超过 Swin-S 达 0.6%、ConvNeXt-S 达 0.5%。
vHeat-B 取得了 83.9% 的性能，超过 DeiT-B 达 2.1%、Swin-B 达 0.4%。

同时，由于 vHeat 的 O (N^1.5) 低复杂度和可并行计算性，推理吞吐量相比于 ViTs、SSM 模型有明显的优势，例如 vHeat-T 的推理吞吐量为 1514 img/s，比 Swin-T 高 22%，比 Vim-S 高 87%，也比 ConvNeXt-T 高 26%，同时拥有更好的性能。

下游任务

在 COCO 数据集上， vHeat 也拥有性能优势：在 fine-tune 12 epochs 的情况下，vHeat-T/S/B 分别达到 45.1/46.8/47.7 mAP，超过了 Swin-T/S/B 达 2.4/2.0/0.8 mAP，超过 ConvNeXt-T/S/B 达 0.9/1.4/0.7 mAP。在 ADE20K 数据集上，vHeat-T/S/B 分别达到 46.9/49.0/49.6 mIoU，相比于 Swin 和 ConvNeXt 依然拥有更好的性能表现。这些结果验证了 vHeat 在视觉下游实验中完全 work，展示出了能平替主流基础视觉模型的潜力。

分析实验

有效感受野

vHeat 拥有全局的有效感受野，可视化对比的这些主流模型中只有 DeiT 和 HiViT 也具备这个特性。但是值得注意的是，DeiT 和 HiViT 的代价是平方级的复杂度，而 vHeat 是 1.5 次方级的复杂度。

计算代价

上图从左到右分别为 vHeat-B 与其他 base 规模下的 ViT-based 模型的推理吞吐量 / GPU 显存占用 / 计算量 FLOPs 对比。可以明显看出，由于 O (N^1.5) 的计算复杂度，vHeat 相比于对比的模型有更快的推理速度、更低的显存占用以及更少的 FLOPs，并且在图像分辨率越大时，优势会更为明显。在输入图像为 768*768 分辨率时，vHeat-B 的推理吞吐量为 Swin-B 的 3 倍左右，GPU 显存占用比 Swin-B 低 74%，FLOPs 比 Swin-B 低 28%。vHeat 与 ViT-based 模型的计算代价对比，展示出其处理高分辨率图像的优秀潜质。

产业vHeat视觉表征模型

相关数据

自注意力技术

自注意力（Self-attention），有时也称为内部注意力，它是一种涉及单序列不同位置的注意力机制，并能计算序列的表征。自注意力在多种任务中都有非常成功的应用，例如阅读理解、摘要概括、文字蕴含和语句表征等。自注意力这种在序列内部执行 Attention 的方法可以视为搜索序列内部的隐藏关系，这种内部关系对于翻译以及序列任务的性能非常重要。

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

离散余弦变换技术

离散余弦变换（英语：discrete cosine transform, DCT）是与傅里叶变换相关的一种变换，类似于离散傅里叶变换，但是只使用实数。离散余弦变换相当于一个长度大概是它两倍的离散傅里叶变换，这个离散傅里叶变换是对一个实偶函数进行的（因为一个实偶函数的傅里叶变换仍然是一个实偶函数），在有些变形里面需要将输入或者输出的位置移动半个单位（DCT有8种标准类型，其中4种是常见的）。

来源：维基百科

傅里叶变换技术

傅里叶变换（法语：Transformation de Fourier、英语：Fourier transform）是一种线性积分变换，用于信号在时域（或空域）和频域之间的变换，在物理学和工程学中有许多应用。因其基本思想首先由法国学者约瑟夫·傅里叶系统地提出，所以以其名字来命名以示纪念。实际上傅里叶变换就像化学分析，确定物质的基本成分；信号来自自然界，也可对其进行分析，确定其基本成分。

来源：维基百科

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary

图像分类技术

图像分类，根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。

来源：百度百科

实例分割技术

实例分割是检测和描绘出现在图像中的每个不同目标物体的任务。

来源：paperswithcode

机器之心机构

机器之心，成立于2014年，是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系，为各类人工智能从业者提供综合信息服务和产业服务。