特征,特征不变性,尺度空间与图像金字塔
2019-12-01

博客:blog.shinelee.me | 博客园 | CSDN

特征

在计算机视觉领域,特征是为了完成某一特定任务需要的相关信息。比如,人脸检测中,我们需要在图像中提取特征来判断哪些区域是人脸、哪些区域不是人脸,人脸验证中,我们需要在两个人脸区域分别提取特征,来判断他们是不是同一个人,如下图所示,深度神经网络最终得到一个128维的特征用于识别等任务,图片来自Openface

常用的特征包括:图像灰度or灰度、直方图、梯度、边缘、纹理、矩、SIFT、深度学习特征等等。以关键点特征为例,关键点指的是可以稳定出现的特殊点,如角点、局部极值点等,如上图中人脸中眼鼻口处的关键点,先检测图像中的关键点,然后在以该点为中心的邻域范围内提取信息,作为该点的特征描述。关键点特征的好处在于,关键点可以稳定复现同时其特征描述聚焦在关键点邻域内,对遮挡、形变等有很好鲁棒性。以SIFT描述子为例,其将关键点周围的梯度统计直方图作为该点的特征,如下图所示,图片来自链接。

不同的特征适用范围也不同,有些特征对光照敏感,有些特征对形变敏感,需要根据任务场景选择适合的特征——适合的才是最好的,不是什么时候都要上牛刀。如果任务场景简单,比如明确知道光照条件不变、人脸基本正面且表情妆容没有变化,可能直接使用灰度或梯度进行模板匹配就可以识别了,但如果场景复杂,光照可能变化、表情可能变化、人脸角度也不确定,那么为了完成任务,选取的特征就需要有较好的适应性,这就要谈到特征不变性

特征不变性

以上图为例,左右两图中玩具车的姿态不同、大小不同、图像亮度不同,对应局部(图中黄色小块)在各自图中的绝对位置不同、大小不同、方向不同、灰度不同,为了实现配准,就需要在局部提取的特征具有某些不变性,才能够匹配上。

几何不变性(geometric invariance):平移,旋转,尺度……光度不变性(photometric invariance):亮度,曝光……

图像预处理通过对输入图像进行归一化(最大最小值归一化、均值方差归一化、直方图均衡化等),能在一定程度上做到对亮度或光照鲁棒。此外,在设计特征提取算法时,通过考虑相对信息和统计信息(比如梯度、直方图等),降低对灰度(颜色)绝对值的敏感度,可以进一步做到对亮度或光照鲁棒

通过使用局部窗口内的像素信息和相对位置信息局部特征一般都能做到平移无关。要做到旋转无关,则需要将窗口以某个主方向对齐后再提取局部特征,如图中倾斜的黄色小块,主方向可以是窗口内最集中的梯度方向。

接下来,讲述一下如何做到尺度无关

尺度空间

尺度,可以通过地图的比例尺来理解,如下图所示,如果以100米为单位进行观测(称为图100),箭头处有一个角点A,如果以5米为单位进行观测(成为图5),则A附近多了一个凹陷B,而这个凹陷B在图100中是看不见的,为什么呢?尺度空间理论认为是被平滑掉了,即低尺度下可以看清细节,高尺度下细节会被平滑掉只剩下更“宏观”的特征,因此可知

特征是有尺度的,在某个尺度下B是关键点(图5中),但在更大的尺度下可能就不是了(图100中)需要在对应的尺度下提取特征,既然B仅在图5的尺度下是关键点,其特征自然需要在图5的尺度下提取

如果两幅图像的尺度不同该如何匹配?图100和图5中的A是同一个点,但因为尺度不同,邻域差异很大,在各自的邻域中提取的特征自然不同,为了让它们能匹配上,需要对图5构建尺度空间,获得不同尺度下的表达,具体怎么做呢?保持图5图像尺寸不变,不断(高斯)平滑,直到B处的凹陷平滑没了(与图100相似),达到与图100相近的尺度,图100中在A邻域内(比如(10 imes 10))提取特征(比如SIFT),图5中在A邻域内((200 imes 200))提取特征,两者在各自图像中提取的SIFT特征长度相同(将领域划分成同样数量的子区域,然后在子区域中统计梯度直方图,某种程度上讲是对邻域窗口的归一化后再提取特征),这样就可以匹配上了。

平滑类似如下过程,最下面一行为原始信号,每一行对应一个尺度:

一般来讲,在没有先验知识的情况下,对两幅图像分别在每个尺度上检测关键点并提取特征,总有某些关键点及其特征正好来自相同的尺度,如果它们恰好可以匹配上,则图像1和图像2匹配,反之,如果所有关键点都配不上,则图像1和图像2不匹配。

小结一下:尺度空间,是在信号长度不变的情况下(如上图(f(x))(f^t(x))),通过(高斯)平滑,获得信号在不同尺度下的表达,然后使用尺度对应大小的窗口进行观测和提取特征。因为获得了原始信号在所有尺度下的特征,这些特征在整体上做到了尺度无关——因为原始信号各种尺度的特征都有了。

图像金字塔

尺度空间中,不同尺度下观测窗口的像素尺寸是不同,还有另外一种情况,保持观测窗口大小不变,让图像尺寸发生变化。以人脸检测为例,通常训练结束后,方法中用到的滤波器、卷积核的参数和尺寸就固定了,因此提取到的特征只适用于检测像素大小在某个范围内的人脸,超出这个范围的人脸就检测不出来了。但是,在没有先验知识的情况下,输入图像中人脸的像素大小是未知的,不同输入图像中人脸的像素尺寸也可能不同,怎么办?这是就要用到图像金字塔,如下图所示,使用RCNN检测人脸,图像中的人脸有大有小,通过构建图像金字塔来检测,图片来自链接。

构建图像金字塔,是为了获得图像在不同尺寸(不同分辨率)下的表达,通过不断重复 平滑+下采样 的过程(也有通过插值Resize),获得了不同像素尺寸的人脸图像,其中只要有与网络适配的人脸就可以被检测出来。

小结一下:图像金字塔,是在保持观测窗口不变的情况下,获得输入图像在不同尺寸(分辨率)下的表达,在不同尺寸上提取到的特征在整体上做到了尺寸(分辨率)无关。实际使用中,一般采用2倍下采样,即金字塔中图像长宽逐层折半。

细心的读者可能已经发现,尺度空间和图像金字塔存在着某种关联,有种一体两面的感觉,实际上两者可以联合在一起使用,我们以后再谈。

总结

本文的重点在于讲述 几种特征不变性以及实现特征不变性的途径,对尺度空间和图像金字塔只是做了直观的介绍,后面会单独写文章详细讲解。

参考

Feature (computer vision)Scale-invariant feature transformPyramid (image processing)Scale spacePyramids and Scale SpaceScale Space Theory and Applications, 1, 0, 9);