图像提取包括图像的特征检测和特征提取过程。
特征检测是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息,决定每个图像的点是否属于一个图像特征。特征检测的结果是把图像上的点分为不同的子集,这些子集往往属于孤立的点、连续的曲线或者连续的区域。
特征的定义:
至今为止特征没有万能和精确的定义。特征的精确定义往往由问题或者应用类型决定。特征是一个数字图像中“有趣”的部分,它是许多计算机图像分析算法的起点。因此一个算法是否成功往往由它使用和定义的特征决定。因此特征检测最重要的一个特性是“可重复性”:同一场景的不同图像所提取的特征应该是相同的。
特征检测是图象处理中的一个初级运算,也就是说它是对一个图像进行的第一个运算处理。它检查每个像素来确定该像素是否代表一个特征。假如它是一个更大的算法的一部分,那么这个算法一般只检查图像的特征区域。作为特征检测的一个前提运算,输入图像一般通过高斯模糊核在尺度空间中被平滑。此后通过局部导数运算来计算图像的一个或多个特征。
有时,假如特征检测需要许多的计算时间,而可以使用的时间有限制,一个高层次算法可以用来控制特征检测阶层,这样仅图像的部分被用来寻找特征。
由于许多计算机图像算法使用特征检测作为其初级计算步骤,因此有大量特征检测算法被发展,其提取的特征各种各样,它们的计算复杂性和可重复性也非常不同。
特征的分类:
边缘
边缘指组成两个图像区域之间边界(或边缘)的像素。一般一个边缘的形状可以是任意的,还可能包括交叉点。在实践中边缘一般被定义为图像中拥有大的梯度的点组成的子集。一些常用的算法还会把梯度高的点联系起来来构成一个更完善的边缘的描写。这些算法也可能对边缘提出一些限制。
局部地看边缘是一维结构。
角
角指图像中点似的特征,在局部它有两维结构。早期的算法首先进行边缘检测,然后分析边缘的走向来寻找边缘突然转向(角)。后来发展的算法不再需要边缘检测这个步骤,而是可以直接在图像梯度中寻找高度曲率。后来发现这样有时可以在图像中本来没有角的地方发现具有同角一样的特征的区域。
区域
与角不同的是区域描写一个图像中的一个区域性的结构,但是区域也可能仅由一个像素组成,因此许多区域检测也可以用来监测角。一个区域监测器检测图像中一个对于角监测器来说太平滑的区域。
区域检测可以被想象为把一张图像缩小,然后在缩小的图像上进行角检测。
脊
长条形的物体被称为脊。在实践中脊可以被看作是代表对称轴的一维曲线,此外局部针对于每个脊像素有一个脊宽度。从灰梯度图像中提取脊要比提取边缘、角和区域困难。在空中摄影中往往使用脊检测来分辨道路,在医学图像中它被用来分辨血管。
特征提取
特征被检测后它可以从图像中被提取出来。这个过程可能需要许多图像处理的计算机。其结果被称为特征描述或者特征向量。
低层次的特征提取方法包括:边缘检测、角检测、区域检测、脊检测等,还有曲度检测以及运动检测。
高层次的特征提取方法包括:1.固定形状匹配方法如阈值、模板匹配和霍夫变换等;2.灵活变形分析方法。
进一步特征提取与降维有关,常用的降维技术有主成分分析法、独立成分分析法、等距特征映射等。
[描述来源:Wikipedia; URL:https://zh.wikipedia.org/wiki/%E7%89%B9%E5%BE%81%E6%A3%80%E6%B5%8B]
[描述来源:Wikipedia; URL:https://en.wikipedia.org/wiki/Feature_extraction]
[描述来源:Nixon, M. S., & Aguado, A. S. (2012). Feature extraction & image processing for computer vision. Academic Press.]
发展历史
描述
早期的图像特征检测和提取技术主要采用边缘检测、角检测等方法,后来通过区域检测进一步提取出图像的显著特征。在初步提取出图像特征之后,还发展出一系列降维方法来消除无关或者冗余特征,从而获取最关键的图像信息。该技术在计算机视觉领域以及生物医学、工农业检测、遥感图像分析等方面有着广阔的发展空间。
主要事件
年份 | 事件 | 相关论文/Reference |
1983 | 脊检测/谷检测应用于数字图像特征的检测和提取 | Haralick, R. M. (1983). Ridges and valleys on digital images. Computer Vision, Graphics, and Image Processing, 22(1), 28-38. |
1986 | Canny提出边缘检测来提取图像的特征信息 | Canny, J. (1986). A computational approach to edge detection. IEEE Transactions on pattern analysis and machine intelligence, (6), 679-698. |
1988 | 将角检测与边缘检测结合起来提取图像特征 | Harris, C., & Stephens, M. (1988, August). A combined corner and edge detector. In Alvey vision conference (Vol. 15, No. 50, pp. 10-5244). |
1994 | 角检测器寻找适宜特征 | Shi, J. (1994, June). Good features to track. In Computer Vision and Pattern Recognition, 1994. Proceedings CVPR'94., 1994 IEEE Computer Society Conference on (pp. 593-600). IEEE. |
1997 | SUSAN角检测方法 | Smith, S. M., & Brady, J. M. (1997). SUSAN—A new approach to low level image processing. International journal of computer vision, 23(1), 45-78. |
2004 | 区域检测实现同一图像在不同视角下的显著特征提取 | Lowe, D. G. (2004). Distinctive image features from scale-invariant keypoints. International journal of computer vision, 60(2), 91-110. |
2011 | 多流型判别分析法提取图像特征 | Yang, W., Sun, C., & Zhang, L. (2011). A multi-manifold discriminant analysis method for image feature extraction. Pattern Recognition, 44(8), 1649-1657. |
发展分析
瓶颈
如何确定应该提取的特征的数量大小
如何寻找最优特征或者与目标相关度最高的特征
未来发展方向
图像信息提取(包括图像特征的检测和提取)技术的发展有助于计算机视觉快速搜索获取图像最重要的特征信息,从而提升目标识别的准确度。
Contributor: Yueqin Li