「hog」fhog特征讲解

hog

人脸检测（1）——HOG特征

一、概述

前面一个系列，我们对车牌识别的相关技术进行了研究，但是车牌识别相对来说还是比较简单的，后续本人会对人脸检测、人脸识别，人脸姿态估计和人眼识别做一定的学习和研究。其中人脸检测相对来说比较简单，譬如Dlib库中直接封装了现成的库函数 frontal_face_detector 供相关人员使用，但是Dlib的运行速率并不是很高，另外于仕琪老师的 libfaceDetection 库具有较高的识别率和相对较快的运行速度，具体可以从github 上获取 https://github.com/ShiqiYu/libfacedetection 。但是该库并没有提供源码分析，只有现成的lib库可以直接使用。

从学习和研究的角度来说，我们还是希望能够直接从源码中进行相关学习，因此此处我们通过Dlib库代码解读，来对人脸检测的相关技术做一定的分析。Dlib是一个机器学习的C++库，包含了许多机器学习常用的算法，并且文档和例子都非常详细。 Dlib官网地址: http://www.dlib.net 。下面我们通过一个简单的例子，来看下人脸检测是如何工作的，代码如下所示：

View Code

如上图所示，frontal_face_detector 将图像中所有的人脸都检测了出来，从代码中也可以看到，该方法的使用过程及其简单，当然人脸检测的内部逻辑是极其复杂的。

二、代码分析

下面我们一步步跟踪下代码，看看Dlib人脸检测内部究竟是如何工作的。

object_detector

typedef object_detector<scan_fhog_pyramid<pyramid_down<6> > > frontal_face_detector；

类 frontal_face_detector 是Dlib库中定义的，位于 “frontal_face_detector.h” 中，可以看到类 frontal_face_detector 是类 object_detector的一种特殊情况；具体关于object_detector的内容后面再详细介绍。

定义scanner，用于扫描图片并提取特征

类scan_fhog_pyramid 定义来自于”scan_fhog_pyramid.h ”

template <typename Pyramid_type, typename Feature_extractor_type =default_fhog_feature_extractor>
class scan_fhog_pyramid : noncopyable{...}

类模板中参数Pyramid_type表示图像金字塔的类型，本文使用的是pyramid_down<6>，表示图像金字塔进行下采样的比率为5/6，即对原图像不断缩小5/6，构成多级金字塔。当图像的大小小于扫描窗口大小的时候，停止下采样。

参数 Feature_extractor_type 表示特征提取器，默认情况下使用 "fhog.h"中的extract_fhog_feature() 提取特征，函数原型为：

复制代码

    template <typename image_type, typename T, typename mm>
    void extract_fhog_features(
        const image_type& img, 
        array2d<matrix<T,31,1>,mm>& hog, 
        int cell_size = 8,
        int filter_rows_padding = 1,
        int filter_cols_padding = 1
    ) 
    {
        impl_fhog::impl_extract_fhog_features(img, hog, cell_size, filter_rows_padding, filter_cols_padding);
    }

复制代码

此函数提取的HOG特征来自于Felzenszwalb 版本的HOG [1] (简称fhog)它是对每个8*8像素大小的cell提取31维的 fhog算子，然后保存到上述hog array中供后续计算使用。

HOG的发明者是Navneet Dalal，在2005年其在CVPR上发表了《Histograms of Oriented Gradients forHuman Detection》这一篇论文，HOG一战成名。当然ND大神也就是我们经常使用的Inria数据集的缔造者。其博士的毕业论文《Finding People in Images and Videos》更是HOG研究者的一手资料。

HOG算法思想：

在计算机视觉以及数字图像处理中梯度方向直方图(HOG)是一种能对物体进行检测的基于形状边缘特征的描述算子，它的基本思想是利用梯度信息能很好的反映图像目标的边缘信息并通过局部梯度的大小将图像局部的外观和形状特征化。

HOG特征的提取可以用下面过程表示：颜色空间的归一化是为了减少光照以及背景等因素的影响；划分检测窗口成大小相同的细胞单元(cell)，并分别提取相应的梯度信息；组合相邻的细胞单元成大的相互有重叠的块(block)，这样能有效的利用重叠的边缘信息，以统计整个块的直方图；并对每个块内的梯度直方图进行归一化，从而进一步减少背景颜色及噪声的影响；最后将整个窗口中所有块的HOG特征收集起来，并使用特征向量来表示其特征。

颜色空间归一化：

在现实的情况，图像目标会出现在不同的环境中，光照也会有所不一样，颜色空间归一化就是对整幅图像的颜色信息作归一化处理从而减少不同光照及背景的影响，也为了提高检测的鲁棒性，引入图像Gamma和颜色空间归一化来作为特征提取的预处理手段。ND大神等人也对不同的图像像素点的表达方式包括灰度空间等进行了评估，最终验证RGB还有LAB色彩空间能使检测结果大致相同且能起到积极的影响，且另一方面，ND大神等人在研究中分别在每个颜色通道上使用了两种不同的Gamma归一化方式，取平方根或者使用对数法，最终验证这一预处理对检测的结果几乎没有影响，而不能对图像进行高斯平滑处理，因平滑处理会降低图像目标边缘信息的辨识度，影响检测结果。

梯度计算：

边缘是由图像局部特征包括灰度、颜色和纹理的突变导致的。一幅图像中相邻的像素点之间变化比较少，区域变化比较平坦，则梯度幅值就会比较小，反之，则梯度幅值就会比较大。梯度在图像中对应的就是其一阶导数。模拟图像f(x,y)中任一像素点（x,y）的梯度是一个矢量：

其中，G_x是沿x方向上的梯度，G_y是沿y方向上的梯度，梯度的幅值及方向角可表示如下：

数字图像中像素点的梯度是用差分来计算的：

一维离散微分模板在将图像的梯度信息简单、快速且有效地计算出来，其公式如下：

式中，G_x，G_y，H(x,y)分别表示的是像素点（x,y）在水平方向上及垂直方向上的梯度以及像素的灰度值，其梯度的幅值及方向计算公式如下：

计算细胞单元的梯度直方图：

对于整个目标窗口，我们需要将其分成互不重叠大小相同的细胞单元（cell），然后分别计算出每个cell的梯度信息，包括梯度大小和梯度方向。ND大神等人实验指出，将像素的梯度方向在0-180°区间内平均划分为9个bins，超过9个时不仅检测性能没有明显的提高反而增加了检测运算量, 每个cell内的像素为其所在的梯度方向直方图进行加权投票，加权的权值可以是像素本身的梯度幅值，也可以是幅值的平方或平方根等，而若使用平方或平方根，实验的检测性能会有所降低，ND大神等人也验证，使用梯度幅值的实验效果更可靠。

对组合成块的梯度直方图作归一化：

从梯度计算公式中可以看出，梯度幅值绝对值的大小容易受到前景与背景对比度及局部光照的影响，要减少这种影响得到较准确的检测效果就必须对局部细胞单元进行归一化处理。归一化方法多种多样，但整体思想基本上是一致的：将几个细胞单元（cell）组合成更大的块（block），这时整幅图像就可看成是待检测窗口，将更大的块看成是滑动窗口，依次从左到右从上到下进行滑动，得到一些有重复细胞单元的块及一些相同细胞单元（cell）在不同块（block）中的梯度信息，再对这些块（block）信息分别作归一化处理，不同的细胞单元尺寸大小及不同块的尺寸大小会影响最终的检测效果。

介绍完HOG算子的基本概念，这边分析下31维的 fhog算子具体是从何而来呢？

其中，31D fhog=18D+9D+4D。

18D来自于对cell做18个bin的梯度方向直方图，即将360°划分为18个bin，然后令cell中的每个像素根据其梯度方向加权投影到直方图相应的bin中，这样就得到了18维有符号的fhog梯度。
9D来自于对cell做9个bin的梯度方向直方图，此时是将180°划分为9个bin，则得到无符号的9维fhog梯度。
最后的4D是来自于当前cell和其对角线临域的4个领域cell的归一化操作。具体地，取block=2*2 cell,则得到无符号fhog梯度4*9维，将其看成矩阵做按行按列累加可得到1D特征，4个领域则可得到4个block，共4维特征。

最终，每个cell的31维fhog特征就来自于上述三部分的串联。

参考连接：http://www.360doc.com/content/13/0313/10/2036337_271200039.shtml

fhog特征讲解

hog

人脸检测（1）——HOG特征

相关阅读

栏目导航

推荐阅读

热门阅读