图像缩放

在计算机图形学中，图像缩放指的是通过增加或去掉像素来改变图片的尺寸。由于要在效率和图像质量比如平滑度和清晰度之间做折衷，图像缩放并不是个平庸的过程。当图像尺寸增大的时候，像素数量不变，组成图像的每个像素所占图像面积越来越大，图像看上去就变"柔和"了。而缩小图像的时候，图像就变得平滑和清晰了。

除了为了适应显示区域而缩小图片外，图像缩小技术更多的是被用来产生预览图片。图像放大技术一般被用来令一个较小的图像填充一个大的屏幕。当你放大一张图像时，你不能可能获得更多的细节，因此图像的质量将不可避免的下降。不过也有很多技术可以保证在放大图像即增加像素的时候，图像的质量不变。

从奈奎斯特采样定理的角度来看，图像缩放可以解释为图像重采样(image resampling)或图像重建( image reconstruction)的一种形式。 根据该定理，只有在应用合适的2D抗混叠滤波器以防止混叠伪影后才能对较高分辨率原始图像进行下采样。 在这里我们主要介绍常用的图像缩放算法：

1. 近邻取样插值（Nearest-neighbor interpolation）：这是增加图像大小的最简单的方法之一，该方法用相同颜色的多个像素对像素进行替换：所得图像会比原始图像大，并且能保留所有原始细节，但具有（通常不合需要的）阶梯状锯齿。
2. 双线性和双三次插值（Bilinear and bicubic algorithms）：双线性插值通过插值像素颜色来工作，即使原图中像素是离散的，通过插值也会为其增加连续性。虽然这对于连续色调图像是需要的，不过也会导致一些不期望的细节柔化并且还是会导致锯齿。双三次插值可以产生更好的结果，计算复杂度只有很小的增加。
3. 正弦和Lanczos重采样（Sinc and Lanczos resampling）：理论上的正弦重采样为完美的带限信号提供了最佳重构效果。但在实践中，正弦重采样所依赖的假设很难完全满足。 Lanczos重采样是一种近似正弦方法，可以产生更好的结果。双三次插值可以看作是对Lanczos重采样的高效近似。
4. 盒采样（Box sampling）：双线性，双三次插值和其相关算法的一个弱点是他们对特定数量的像素进行采样。当向下缩放低于某个阈值时，比如对于所有双采样算法（bi-sampling algorithm）而言缩放比例超过两倍时，算法将对非相邻像素进行采样，这会导致数据丢失并导致粗糙的结果。盒采样可以解决这个问题，通过将原始图像上的目标像素视为盒子，并对盒子内的所有像素进行采样，盒采样确保所有输入像素都对输出有贡献。这种算法的主要弱点是很难优化。
5. 傅里叶变换方法（Fourier-transform methods）：基于傅里叶变换的简单插值以零分量填充频域。
6. 边缘定向插值（Edge-directed interpolation）：边缘定向插值算法旨在缩放后保留图像中的边缘，这与其他可能会引入阶梯伪影的算法不同。
7. hqx：对于放大低分辨率和/或几种颜色（通常为2至256色）的计算机图形，hqx或其他像素级缩放算法可以获得更好的结果。生成的图片可以得到较好的边缘锯齿细节。
8. 矢量（Vectorization）：又称矢量提取，提供了另一种方法。矢量化首先根据要缩放的图形创建与分辨率无关的矢量表示。然后，这一矢量表示被缩放至期望的大小。可缩放的矢量图形非常适合于简单的几何图像，而由于图像的复杂性，其不能很好地进行矢量化。
9. 深度卷积神经网络（Deep convolutional neural networks）：此方法使用机器学习获取更细致的图像，例如照片和复杂的艺术品。

下图给出了对wiki图片进行放大4倍操作的效果，其中第一行最左侧为理想结果，随后从上到下从左至右依次使用近邻取样插值、双线性插值、双三次插值、hq2x、矢量。

[图片及描述来源：维基百科 URL：https://en.wikipedia.org/wiki/Image_scalinghttps://en.wikipedia.org/wiki/Image_scaling]

发展历史

许多用于图像缩放的算法并不是专门为图像缩放研究的，不过边缘定向插值算法除外。1996年J. Allebach和Ping Wah Wong提出了边缘定向插值，它由两个阶段组成：渲染和修正。渲染阶段是边缘导向的。 从低分辨率图像数据中，需要先生成一个高分辨率的边缘图，然后在滤波器输出的零交叉点之间执行分段线性插值。渲染阶段基于双线性插值，以防止在生成的高分辨率边缘图进行跨边缘插值。2001年Xin Li和M.T. Orchard提出了一种针对自然图像的边缘定向插值算法（New edge-directed interpolation）。其基本思想是首先根据低分辨率图像估计局部协方差系数，然后根据低分辨率协方差和高分辨率协方差之间的几何对偶性，使用这些协方差估计来以更高分辨率调整内插。仿真结果表明，这种新插值算法大大提高了插值图像的质量。2006年Lei Zhang和Xiaolin Wu通过定向滤波和数据融合提出了一种新的边缘引导非线性插值技术。 对于要内插的像素，在两个正交方向上定义两个观察组，并且每个组产生像素值的估计。 通过线性最小均方误差估计（LMMSE）技术将这些方向的估计值融合为更稳健的估计值，并使用两个观测集的统计量。 他们还提出了基于LMMSE的插值算法的简化版本，以降低计算成本而不牺牲很多插值性能。

在深度学习兴起后，2016年Justin Johnson，Alexandre Alahi和Li Fei-Fei在发表的论文中显示，通过定义和优化基于从预训练网络提取的高级特征的感知损失函数，可以生成高质量的图像。他们利用感知损失替换像素损失，结果在视觉上令人满意。类似的工作还有Christian Ledig等学者的研究，他们认为当时利用神经网络进行图像缩放的研究主要集中在最小化均方重建误差。由此产生的估计具有较高的峰值信噪比，但通常缺乏高频细节。他们提出SRGAN，一种用于图像超分辨率（SR）的生成对抗网络（GAN）。通过将对抗性损失和内容损失同时包含在感知损失函数中，该网络能够对自然图像的照片进行4倍放大。

主要事件

发展分析

瓶颈

目前用于图像缩放的技术有很多，但我们还没有关于如何能够恢复更精细的纹理细节的最优解，许多算法的表现都缺乏定性定量的分析。

未来发展方向

目前随着神经网络的发展，图像缩放的质量虽然有了突破，但也许其质量还能够进一步提高，此外，图像处理的速度和轻量化也是目前发展的方向。

Contributor：Yuanyuan Li