图像复原技术主要是针对成像过程中的“退化”而提出来的,而成像过程中的“退化”现象主要指成像系统受到各种因素的影响,诸如成像系统的散焦、设备与物体间存在相对运动或者是器材的固有缺陷等,导致图像的质量不能够达到理想要求。图像的复原和图像的增强存在类似的地方,都是为了提高图像的整体质量。但是与图像复原技术相比,图像增强技术重在对比度的拉伸,其主要的目的在于根据观看者得喜好来对图像进行处理,提供给观看者乐于接受的图像,而图像复原技术则是通过去模糊函数去除图像中的模糊部分,还原图像的本真。其主要采用的方式是采用退化图像的某种所谓的先验知识来对已退化图像进行修复或者是重建,就复原过程来看可以将之视为图像退化的一个逆向过程。图像的复原,首先要对图像退化的整个过程加以适当的估计,在此基础上建立近似的退化数学模型,之后还需要对模型进行适当的修正,以对退化过程出现的失真进行补偿,以保证复原之后所得到的图像趋近于原始图像,实现图像的最优化。但是在图像退化模糊的过程中,噪声与干扰同时存在,这给图像的复原带来了诸多的不确定性。
图像复原的基本思路:先建立退化的数学模型,然后根据该模型对退化图像进行拟合。
图像复原模型可以用连续数学和离散数学处理,处理项的实现可在空间域卷积,或在频域相乘。
图像复原的基本任务:消除模糊。
[描述来源:百度百科; URL:https://baike.baidu.com/item/%E5%9B%BE%E5%83%8F%E5%A4%8D%E5%8E%9F]
发展历史
图像复原是图像科学中的一个重要研究领域,起源于19世纪50年代以及60年代初美国和前苏联的太空项目。这些项目要生成很多地球和太阳系图像,在当时是很难实现的。为了解决图像退化的问题,如何恢复图像的重要信息成为关注点。图像复原包括图像去噪,去模糊等过程,可以提高图像的质量,让我们看到图像中微小但是非常重要的内容。
成像过程中,图像的退化主要是由系统的相关特性以及噪声两方面的因素所导致的,因此,可以通过设计一个合适的复原滤波器(即实现逆滤波过程)来实现图像的复原。针对于退化图像的复原,通常可以采用这样两种方式来进行:其一,当对于原始图像缺乏必需的先验知识时,可以采用退化过程建立一个模型,首先对其进行一个大概的描述,然后在复原的过程根据具体的情况进行逐步合理的修正,逐步消除误差影响。这种方法建立在对图像的退化过程进行合理的估计的基础之上,从这个角度来看它是一种估计的方法;其二,当我们对原始图像具有足够的先验知识时,我们这时候则直接针对原始图像建立一个精确的数学模型,然后再对退化图像进行复原处理,这种效果更好。
此外,现代图像复原技术发展中,相关算法的发展成为其主要驱动力。在过去的十几年里,基于偏微分方程(PDE)的方法以及基于小波框架的方法就是很成功的例子。采用PDE模型进行图像复原的方法,其共同点是在两个看似矛盾的目标之间寻找平衡:一个是要将噪声部分和其他人为添加的部分平滑或者移除,另一个是保存甚至增强如边缘的锐利程度等。小波框架方法的开始提出是为了重构高分辨率图像,包括迭代法,平衡法等,但是他们都存在解析小波框架系数的代价问题。
主要事件
年份 | 事件 | 相关论文 |
1977 | 采用贝叶斯方法进行非线性图像复原 | Hunt, B. R. (1977). Bayesian methods in nonlinear digital image restoration. IEEE Transactions on Computers, (3), 219-229. |
1988 | 采用神经网络进行图像复原 | Zhou, Y. T., Chellappa, R., Vaid, A., & Jenkins, B. K. (1988). Image restoration using a neural network. IEEE Transactions on Acoustics, Speech, and Signal Processing, 36(7), 1141-1151. |
1992 | 提出采用二阶非线性扩散方法解决图像复原问题 | Catté, F., Lions, P. L., Morel, J. M., & Coll, T. (1992). Image selective smoothing and edge detection by nonlinear diffusion. SIAM Journal on Numerical analysis, 29(1), 182-193. |
1997 | 采用最大似然估计、最大后验概率以及凸集投影算法实现超高分辨率图像的复原 | Elad, M., & Feuer, A. (1997). Restoration of a single superresolution image from several blurred, noisy, and undersampled measured images. IEEE transactions on image processing, 6(12), 1646-1658. |
2008 | 解析代表方法用于彩色图像的重建 | Mairal, J., Elad, M., & Sapiro, G. (2008). Sparse representation for color image restoration. IEEE Transactions on image processing, 17(1), 53-69. |
2010 | 小波框架方法用于图像复原中的去卷积过程 | Cai, J. F., & Shen, Z. (2010). Framelet based deconvolution. Journal of Computational Mathematics, 289-308. |
2012 | 采用深度网络实现图像的去噪和修复 | Xie, J., Xu, L., & Chen, E. (2012). Image denoising and inpainting with deep neural networks. In Advances in Neural Information Processing Systems (pp. 341-349). |
2016 | 采用深度卷积网络获得超高分辨率图像 | Dong, C., Loy, C. C., He, K., & Tang, X. (2016). Image super-resolution using deep convolutional networks. IEEE transactions on pattern analysis and machine intelligence, 38(2), 295-307. |
2017 | 采用结合了残余学习的深度卷积网络来提升图像复原中去除白噪声的能力 | Zhang, K., Zuo, W., Chen, Y., Meng, D., & Zhang, L. (2017). Beyond a gaussian denoiser: Residual learning of deep cnn for image denoising. IEEE Transactions on Image Processing. |
2017 | 提出一种On-demand学习算法,用来训练深度卷积网络实现的图像复原模型,从而提升这些模型的性能 | Gao, R., & Grauman, K. (2017, October). On-demand learning for deep image restoration. In Proc. IEEE Conf. Comput. Vision and Pattern Recognition (pp. 1086-1095). |
发展分析
瓶颈
图像复原模型的可靠性和通用性仍需提高。
未来发展方向
图像复原的应用涵盖了商业成像,新闻学,取证科学,医学成像以及太空探索等领域。随着成像系统在现代社会应用的普及程度增大,图像复原的重要性也日益凸显。
Contributor: Yueqin Li