2022/03/24 17:07

蛋酱编辑

一文梳理视觉Transformer架构进展：与CNN相比，ViT赢在哪儿？

Transformer 近年来已成为视觉领域的新晋霸主，这个来自 NLP 领域的模型架构在 CV 领域有哪些具体应用？

Transformer 作为一种基于注意力的编码器 - 解码器架构，不仅彻底改变了自然语言处理（NLP）领域，还在计算机视觉（CV）领域做出了一些开创性的工作。与卷积神经网络（CNN）相比，视觉 Transformer（ViT）依靠出色的建模能力，在 ImageNet、COCO 和 ADE20k 等多个基准上取得了非常优异的性能。

近日，一位名为 Nikolas Adaloglou 的博主撰写了一篇博客长文，综述了 ViT 领域的进展以及 ViT 与其他学科的交叉应用。

本文作者 Nikolas Adaloglou。

Nikolas Adaloglou 是一名机器学习工程师，他对和 AI 相关的 3D 医学成像、图像和视频分析、基于图的深度学习模型以及生成式深度学习感兴趣，致力于借助机器学习推动医学工程的发展。

以下是博客原文：

ViT 的灵感来源于自然语言处理中的自注意力机制，其中将词嵌入替换成了 patch 嵌入。

以合理的规模训练 ViT

知识蒸馏

在 Kaggle 等深度学习竞赛中，集成（ensemble）是非常流行的一种方法。集成大体上是指平均多个已训练模型的输出以进行预测。这种简单的方法非常适合提高测试时的性能，然而它在推理过程中会慢 N 倍（其中 N 表示模型数量）。当在嵌入式设备中部署此类神经网络时，这就成了一个棘手的问题。解决这个问题常用的一种方法是知识蒸馏。

在知识蒸馏中，小模型（学生模型）通常是由一个大模型（教师模型）监督，算法的关键是如何将教师模型的知识迁移给学生模型。

尽管没有足够的基础理论支持，但知识蒸馏已被证明是一种非常有效的技巧。关于为什么集成的输出分布能提供与集成相当的测试性能，还有待发现。而使用集成的输出（略有偏差的平滑标签）相对于真实标签存在性能增益，这更加神秘。

DeiT 模型通过注意力训练数据高效的图像 Transformer 和蒸馏，这表明在没有外部数据的情况下，仅在 ImageNet 上训练 ViT 是可以的。该研究使用来自 Resnet 的已训练好的 CNN 模型作为单一教师模型。直观地讲，强大的数据假设（归纳偏置）让 CNN 比 ViT 更适合做教师网络。

自蒸馏

令人惊讶的是，有研究发现类似方法也可以通过对同一架构的单个模型（教师网络）进行知识蒸馏来实现。这个过程被称为自蒸馏，来自于 Zhang et al.2019 年的论文《Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation》。自蒸馏就是一种 N=1 的知识蒸馏，自蒸馏（使用具有相同架构的单个训练模型）也可以提高测试准确率。

ViT 的 Hard-label 蒸馏：DeiT 训练策略

在这种方法中，一个额外的可学习全局 token（即蒸馏 token），与 ViT 的 patch 嵌入相连。最关键的是，蒸馏 token 来自训练有素的教师 CNN 主干网络。通过将 CNN 特征融合到 Transformer 的自注意力层中，研究者们在 Imagenet 的 1M 数据上训练 DeiT。

DeiT 模型概览。

DeiT 使用如下损失函数进行训练：

其中 CE 是交叉熵损失函数，σ 是 softmax 函数。Z_cls 和 Z_distill 分别是来自类 token 和蒸馏 token 的学生模型的输出，ytrue 和 yteacher 分别是 ground truth 和教师模型的输出。

这种蒸馏技术使模型用更少的数据获得超强的数据增强，这可能会导致 ground truth 标签不精确。在这种情况下，教师网络似乎会产生更合适的标签。由此产生的模型系列，即数据高效图像 Transformer（DeiTs），在准确率 / 步长时间上与 EfficientNet 相当，但在准确率 / 参数效率上仍然落后。

除了蒸馏，还有一些研究大量使用图像增强来弥补缺乏可用的额外数据。此外，DeiT 依赖于随机深度等数据正则化技术。最终，强大的增强和正则化限制了 ViT 在小数据机制中的过拟合趋势。

Pyramid 视觉 Transformer

Pyramid 视觉 Transformer（PVT）的总体架构。

为了克服注意力机制的二次复杂度，Pyramid 视觉 Transformer（PVT）采用一种称为空间减少注意力 (SRA) 的自注意力变体。其特征是键和值的空间减少，类似于 NLP 领域的 Linformer 注意力。

通过应用 SRA，整个模型的特征空间维度缓慢减少，并通过在所有 transformer block 中应用位置嵌入来增强顺序的概念。PVT 已被用作目标检测和语义分割的主干网络，以处理高分辨率图像。

后来，该研究团队推出改进版 PVT-v2，主要改进如下：

重叠 patch 嵌入；
卷积前馈网络；
线性复杂度自注意力层。

重叠 patch 是改进 ViT 的一个简单而通用的想法，尤其是对于密集任务（例如语义分割）。通过利用重叠区域 /patch，PVT-v2 可以获得图像表征的更多局部连续性。

全连接层（FC）之间的卷积消除了每一层中对固定大小位置编码的需要。具有零填充（zero padding，p=1）的 3x3 深度卷积 (p=1) 旨在补偿模型中位置编码的移除（它们仍然存在，但只存在于输入中）。此过程可以更灵活地处理多种图像分辨率。

最后，使用键和值池化（p=7)，自注意力层就减小到了与 CNN 类似的复杂度。

Swin Transformer：

使用移位窗口的分层视觉 Transformer

Swin Transformer 旨在从标准 NLP transformer 中建立局部性的思想，即局部或窗口注意力：

在 Swin Transformer 中，局部自注意力被用于非重叠窗口。下一层的窗口到窗口通信通过逐步合并窗口来产生分层表征。

如上图所示，左侧是第一层的常规窗口分区方案，其中在每个窗口内计算自注意力。右侧第二层中的窗口分区被移动了 2 个图像 patch，导致跨越了先前窗口的边界。

局部自注意力随图像大小线性缩放 O (M*N) 而不是 O (N^2)，在用于序列长度 N 和 M 窗口大小。

通过合并添加许多局部层，有一个全局表示。此外，特征图的空间维度已显着降低。作者声称在 ImageNet-1K 和 ImageNet-21K 上都取得了有希望的结果。

视觉 Transformer 的自监督训练：DINO

Facebook AI 的研究提出了一个强大的框架用于训练大规模视觉数据。提议的自监督系统创建了如此强大的表征，你甚至不需要在上面微调线性层。这是通过在数据集的冻结训练特征上应用 K - 最近邻 (NN) 来观察到的。作者发现，训练有素的 ViT 可以在没有标签的情况下在 ImageNet 上达到 78.3% 的 top-1 准确率。

该自监督框架如下图所示：

与其他自监督模型相比，他们使用了交叉熵损失，就像在典型的自蒸馏场景中所做的那样。尽管如此，这里的教师模型是随机初始化的，其参数是根据学生参数的指数移动平均值更新的。为了让它 work，研究者将带温度参数的 softmax 应用于具有不同温度的教师和学生模型。具体来说，教师模型得到的温度参数更小，这意味着更敏锐的预测。最重要的是，他们使用了从 SWAV 中获得的多重裁剪方法，效果更佳，在这种情况下教师只能看到全局视图，而学生可以访问转换后的输入图像的全局和局部视图。

对于 CNN 架构来说，该框架并不像对视觉 Transformer 那样有益。那又该如何从图像中提取什么样的特征？

作者将经过训练的 VIT 的自注意力头输出可视化。这些注意力图说明模型自动学习特定于类的特征，导致无监督的对象分割，例如前景与背景。

此属性也出现在自监督预训练的卷积神经网络中，但需要一种特殊的方法来可视化特征。更重要的是，自注意力头学习补充信息并通过为每个头部使用不同的颜色来说明。默认情况下，这根本不是通过自注意力获得的。

DINO 多注意力头可视化。

Scaling 视觉 Transformer

深度学习和规模是相关的。事实上，规模是很多 SOTA 实现的关键因素。在这项研究中，来自 Google Brain Research 的作者训练了一个稍微修改过的 ViT 模型，它有 20 亿个参数，并在 ImageNet 上达到了 90.45 % 的 top-1 准确率。这种过度参数化的一般化模型在少样本学习上进行了测试，每类只有 10 个示例情况下。在 ImageNet 上达到了 84.86% 的 top-1 准确率。

小样本学习是指在样本数量极其有限的情况下对模型进行微调。小样本学习的目标通过将获得的预训练知识稍微适应特定任务来激励泛化。如果成功地预训练了大型模型，那么在对下游任务非常有限的理解（仅由几个示例提供）的情况下表现良好是有意义的。

以下是本文的一些核心贡献和主要结果：

模型大小可能会限制表征质量，前提是有足够的数据来提供它；
大型模型受益于额外的监督数据，甚至超过 1B 图像。

上图描绘了从 300M 图像数据集 (JFT-300M) 切换到 30 亿图像 (JFT-3B) 而不进行任何进一步缩放的效果。中型 (B/32) 和大型 (L/16) 模型都受益于添加数据，大致是一个常数因子。结果是在整个训练过程中通过小样本（线性）评估获得的。

大模型的样本效率更高，以更少的可见图像达到相同的错误率水平。
为了节省内存，他们删除了类 token (cls)。相反，他们评估了全局平均池化和多头注意力池化，以聚合所有 patch token 的表征。
他们对头部和称为「主干」的其余层使用了不同的权重衰减。作者在下图中很好地证明了这一点。框值是小样本精度，而横轴和纵轴分别表示主干和头部的权重衰减。令人惊讶的是，头部的更强衰减会产生最好的结果。作者推测，头部的强烈权重衰减会导致表示具有更大的类之间的余量。

这或许是可以更广泛地应用于预训练 ViT 的最有趣的发现。

他们在训练开始时使用了热身阶段，在训练结束时使用了冷却阶段，其中学习率线性退火为零。此外，他们使用了 Adafactor 优化器，与传统的 Adam 相比，内存开销为 50%。

在同一个波长，你可以找到另一个大规模的研究：《如何训练你的 ViT？视觉 Transformer 中的数据、增强和正则化》（How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers）

替代自注意力：独立 token + 通道混合方式

众所周知，自注意力可以作为一种具有快速权重的信息路由机制。到目前为止，有 3 篇论文讲述了同样的故事：用 2 个信息混合层替换自注意力；一种用于混合 token（投影 patch 向量），一种用于混合通道 / 特征信息。

MLP-Mixer

MLP-Mixer 包含两个 MLP 层：第一个独立应用于图像 patch（即「混合」每个位置的特征），另一个跨 patch（即「混合」空间信息）。

MLP-Mixer 架构。

XCiT：互协方差图像 Transformer

另一个是最近的架构 XCiT，旨在修改 ViT 的核心构建 block：应用于 token 维度的自注意力。

XCiT 架构。

XCA：对于信息混合，作者提出了一种交叉协方差注意力 (XCA) 函数，该函数根据 token 的特征维度而不是根据其本身进行操作。重要的是，此方法仅适用于 queries、keys、values 集的 L2 归一化。L2 范数用 K 和 Q 字母上方的 hat 表示。乘法的结果在 softmax 之前也归一化为 [-1,1] 。

局部 Patch 交互：为了实现 patch 之间的显式通信，研究者添加了两个 depth-wise 3×3 卷积层，中间有批归一化和 GELU 非线性。Depth-wise 卷积独立应用于每个通道（这里的 patch）。

ConvMixer（加链接：patch 成为了 ALL You Need？挑战 ViT、MLP-Mixer 的简单模型来了）

自注意力和 MLP 理论上是更通用的建模机制，因为它们允许更大的感受野和内容感知行为。尽管如此，卷积的归纳偏差在计算机视觉任务中具有不可否认的成果。

受此启发，研究者提出了另一种基于卷积网络的变体，称为 ConvMixer。主要思想是它直接对作为输入的 patch 进行操作，分离空间和通道维度的混合，并在整个网络中保持相同的大小和分辨率。

更具体地说，depthwise 卷积负责混合空间位置，而逐点卷积（1x1x 通道内核）用于混合通道位置，如下图所示：

通过选择较大的内核大小来创建较大的感受野，可以实现远距离空间位置的混合。

多尺度视觉 Transformer

CNN 主干架构受益于通道的逐渐增加，同时降低了特征图的空间维度。类似地，多尺度视觉 Transformer (MViT) 利用了将多尺度特征层次结构与视觉 Transformer 模型相结合的想法。在实践中，作者从 3 个通道的初始图像大小开始，逐渐扩展（分层）通道容量，同时降低空间分辨率。

因此，创建了一个多尺度的特征金字塔。直观地说，早期层将学习高空间与简单的低级视觉信息，而更深层负责复杂的高维特征。

视频分类：Timesformer

在图像任务成功后，视觉 Transformer 被应用于视频识别。这里介绍两种架构：

用于视频识别的基于 block 与基于架构 / 基于模块的时空注意力架构。

右图：缩小架构级别。所提出的方法将空间 Transformer 应用于投影图像 block，然后有另一个网络负责捕获时间相关性。这类似于基于视频处理的 CNN+LSTM 获胜策略。
左图：可以在自注意力级别实现的时空注意力，红框中是最佳组合。通过首先将图像帧视为 token 来在时域中顺序应用注意力。然后，在 MLP 投影之前应用两个空间维度的组合空间注意力。下面是该方法的 t-SNE 可视化：

使用 Timesformer t-SNE 进行特征可视化。

「每个视频都可视化为一个点。属于同一动作类别的视频具有相同的颜色。具有分割时空注意力的 TimeSformer 比具有仅空间注意力或 ViT 的 TimeSformer 在语义上学习更多可分离的特征。」

语义分割中的 ViT：SegFormer

英伟达提出了一种配置良好的设置，名为 SegFormer。SegFormer 的设计组件很有趣。首先，它由一个输出多尺度特征的分层 Transformer 编码器组成。其次，它不需要位置编码，因为当测试分辨率与训练不同时，这会降低性能。

SegFormer 使用一个超级简单的 MLP 解码器来聚合编码器的多尺度特征。与 ViT 不同的是，SegFormer 采用了小的图像 patch，例如 4 x 4 这种，众所周知，这有利于密集预测任务。所提出的 Transformer 编码器输出 1/4、1/8、1/16、1/32 多级特征的原始图像分辨率。这些多级特征提供给 MLP 解码器来预测分割掩码。

Mix-FFN：为了减轻位置编码的影响，研究者使用零填充的 3 × 3 卷积层来泄漏位置信息。Mix-FFN 可以表述为：

高效的自注意力是 PVT 中提出的，它使用缩减比率来减少序列的长度。结果可以通过可视化有效感受野 (ERF) 来定性测量：

「SegFormer 的编码器自然地产生局部注意力，类似于较低阶段的卷积，同时能够输出高度非局部注意力，有效地捕捉第 4 阶段的上下文。如放大补丁所示，MLP 头部（蓝色框）的 ERF 与 Stage-4（红色框）不同，除了非局部注意力之外，局部注意力明显更强。」

医学成像中的视觉 Transformer：Unet + ViT = UNETR

尽管在医学成像方面还有其他尝试，但 UNETR 提供了最有说服力的结果。在这种方法中，ViT 适用于 3D 医学图像分割。研究表明，简单的适应足以改善几个 3D 分割任务的基线。

本质上，UNETR 使用 Transformer 作为编码器来学习输入音频的序列表示。与 Unet 模型类似，它旨在有效捕获全局多尺度信息，这些信息可以通过长残差连接传递给解码器，以不同的分辨率形成残差连接以计算最终的语义分割输出。

UNETR 架构。

以下是论文的一些分割结果：

原文链接：

https://theaisummer.com/transformers-computer-vision/?hss_channel=tw-1259466268505243649&continueFlag=8cde49e773efaa2b87399c8f547da8fe

理论Transformer

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

范数技术

范数(norm)，是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域，是一个函数，其为向量空间内的所有向量赋予非零的正长度或大小。半范数反而可以为非零的向量赋予零长度。

来源：CSDN Blog

池化技术

池化（Pooling）是卷积神经网络中的一个重要的概念，它实际上是一种形式的降采样。有多种不同形式的非线性池化函数，而其中“最大池化（Max pooling）”是最为常见的。它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。直觉上，这种机制能够有效的原因在于，在发现一个特征之后，它的精确位置远不及它和其他特征的相对位置的关系重要。池化层会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。通常来说，CNN的卷积层之间都会周期性地插入池化层。

来源：cs231n

权重技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源：Google AI Glossary

交叉熵技术

交叉熵（Cross Entropy）是Loss函数的一种（也称为损失函数或代价函数），用于描述模型预测值与真实值的差距大小

来源：维基百科

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

自注意力技术

自注意力（Self-attention），有时也称为内部注意力，它是一种涉及单序列不同位置的注意力机制，并能计算序列的表征。自注意力在多种任务中都有非常成功的应用，例如阅读理解、摘要概括、文字蕴含和语句表征等。自注意力这种在序列内部执行 Attention 的方法可以视为搜索序列内部的隐藏关系，这种内部关系对于翻译以及序列任务的性能非常重要。

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

词嵌入技术

词嵌入是自然语言处理（NLP）中语言模型与表征学习技术的统称。概念上而言，它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个单词或词组被映射为实数域上的向量。

来源：维基百科

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

学习率技术

在使用不同优化器（例如随机梯度下降，Adam）神经网络相关训练中，学习速率作为一个超参数控制了权重更新的幅度，以及训练的速度和精度。学习速率太大容易导致目标（代价）函数波动较大从而难以找到最优，而弱学习速率设置太小，则会导致收敛过慢耗时太长

来源：Liu, T. Y. (2009). Learning to rank for information retrieval. Foundations and Trends® in Information Retrieval, 3(3), 225-331. Wikipedia

损失函数技术

在数学优化，统计学，计量经济学，决策理论，机器学习和计算神经科学等领域，损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

来源：Wikipedia

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集（或特征）的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的，这让「神经网络在执行预测任务时可以更多关注输入中的相关部分，更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时，源句子中仅有少部分是相关的；因此，可以应用一个基于内容的注意力机制来根据源句子动态地生成一个（加权的）语境向量（context vector）, 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

来源：机器之心

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary

过拟合技术

过拟合是指为了得到一致假设而使假设变得过度严格。避免过拟合是分类器设计中的一个核心任务。通常采用增大数据量和测试样本集的方法对分类器性能进行评价。

来源：Wikipedia

正则化技术

当模型的复杂度增大时，训练误差会逐渐减小并趋向于0；而测试误差会先减小，达到最小值后又增大。当选择的模型复杂度过大时，过拟合现象就会发生。这样，在学习时就要防止过拟合。进行最优模型的选择，即选择复杂度适当的模型，以达到使测试误差最小的学习目的。

来源：李航著统计学习方法清华大学出版社

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科

特征可视化技术

用于解决神经网络广受诟病的黑箱问题的方法之一，通过可视化的方法来理解神经网络的运算机理，以解决可解释性问题。

来源：Google Research 机器之心

语义分割技术

语义分割,简单来说就是给定一张图片，对图片中的每一个像素点进行分类。图像语义分割是AI领域中一个重要的分支，是机器视觉技术中关于图像理解的重要一环。

来源：CSDN博客

图像增强技术

图像增强技术用于增强图像中的有用信息，它可以是一个失真的过程，其目的是要改善图像的视觉效果，针对给定图像的应用场合。它通过有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要。

来源：百度百科

知识蒸馏技术

Hinton 的工作引入了知识蒸馏压缩框架，即通过遵循“学生-教师”的范式减少深度网络的训练量，这种“学生-教师”的范式，即通过软化“教师”的输出而惩罚“学生”。为了完成这一点，学生学要训练以预测教师的输出，即真实的分类标签。这种方法十分简单，但它同样在各种图像分类任务中表现出较好的结果。

来源：机器之心

批归一化技术

批归一化（Batch Normalization，BN）由谷歌于2015年提出，是一个深度神经网络训练的技巧，它不仅可以加快模型的收敛速度，还能在一定程度上缓解深层网络中的“梯度弥散”问题，从而使得训练深层网络模型更加容易和稳定。目前BN已经成为几乎所有卷积神经网络的标配技巧了。从字面意思看来Batch Normalization（简称BN）就是对每一批数据进行归一化。

来源：相关介绍博客

优化器技术

优化器基类提供了计算梯度loss的方法，并可以将梯度应用于变量。优化器里包含了实现了经典的优化算法，如梯度下降和Adagrad。优化器是提供了一个可以使用各种优化算法的接口，可以让用户直接调用一些经典的优化算法，如梯度下降法等等。优化器（optimizers）类的基类。这个类定义了在训练模型的时候添加一个操作的API。用户基本上不会直接使用这个类，但是你会用到他的子类比如GradientDescentOptimizer, AdagradOptimizer, MomentumOptimizer（tensorflow下的优化器包）等等这些算法。

来源：维基百科

目标检测技术

一般目标检测（generic object detection）的目标是根据大量预定义的类别在自然图像中确定目标实例的位置，这是计算机视觉领域最基本和最有挑战性的问题之一。近些年兴起的深度学习技术是一种可从数据中直接学习特征表示的强大方法，并已经为一般目标检测领域带来了显著的突破性进展。

来源：机器之心

感受野技术

一个感觉神经元的感受野是指这个位置里适当的刺激能够引起该神经元反应的区域。感受野一词主要是指听觉系统、本体感觉系统和视觉系统中神经元的一些性质。

来源：wiki

医学图像分割技术

医学图像分割是在2D或3D图像内自动或半自动检测边界的过程。

来源：fau

小样本学习技术

人类非常擅长通过极少量的样本识别一个新物体，比如小孩子只需要书中的一些图片就可以认识什么是“斑马”，什么是“犀牛”。在人类的快速学习能力的启发下，研究人员希望机器学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习，这就是 Few-shot Learning 要解决的问题。

来源：知乎

视频分类技术

视频分类指基于根据视频片段的语义内容（如人的动作或更复杂的活动）对视频片段进行自动标记。