meanshift
本博将对meanshift算法进行总结,包括meanshift算法原理以及公式推导,图解,图像聚类,目标跟踪中的应用及优缺点总结。
算法原理
meanshift算法其实通过名字就可以看到该算法的核心,mean(均值),shift(偏移),简单的说,也就是有一个点 ,它的周围有很多个点 我们计算点 移动到每个点 所需要的偏移量之和,求平均,就得到平均偏移量,(该偏移量的方向是周围点分布密集的方向)该偏移量是包含大小和方向的。然后点 就往平均偏移量方向移动,再以此为新的起点不断迭代直到满足一定条件结束。
图解如下:
中心点就是我们上面所说的 周围的小红点就是 黄色的箭头就是我们求解得到的平均偏移向量。那么图中“大圆圈”是什么东西呢?我们上面所说的周围的点 周围是个什么概念?总的有个东西来限制一下吧。那个“圆圈”就是我们的限制条件,或者说在图像处理中,就是我们搜索迭代时的窗口大小。不过在OpenCV中,我们一般用的是矩形窗口,而且是图像,2维的。这里其实不是圆,而是一个高维的球。
步骤1、首先设定起始点 ,我们说了,是球,所以有半径 , 所有在球内的点就是 , 黑色箭头就是我们计算出来的向量 , 将所有的向量 进行求和计算平均就得到我们的meanshift 向量,也就是图中黄色的向量。
接着,再以meanshift向量的重点为圆心,再做一个高维的球,如下图所示,重复上面的步骤,最终就可以收敛到点的分布中密度最大的地方
最终结果如下:
数学推导
给定d维空间Rd的n个样本点 ,i=1,…,n,在空间中任选一点x,那么 meanshift 向量的基本定义如下:
其中 是一个半径为 的高维度区域。定义如下:
表示在这n个样本点xi中,有k个点落入 区域中.
然后,我们对meanshift向量进行升级,加入核函数(比如高斯核),则meanshift算法变为:
解释一下K()核函数,h为半径, 为单位密度,要使得上式f得到最大,最容易想到的就是对上式进行求导,的确meanshift就是对上式进行求导.
令 , 则我们可以得到:
由于我们使用的是高斯核,所以第一项等于
第二项就相当于一个meanshift向量的式子:
则上述公式可以表示为:
图解公式的结构如下:
当然,我们求得meanshift向量的时候,其密度最大的地方也就是极值点的地方,此时梯度为0,也就是
,当且仅当的时候成立,此时我们就可以得到新的原点坐标:
以上就是公式推导,建议看懂走一遍。参考自
http://www.cnblogs.com/liqizhou/archive/2012/05/12/2497220.html
实际项目中,meanshift的算法流程是:
1、选取中心点 ,以半径 做一个高维球(如果我们是在图像或者视频处理中,则是2维的窗口,不限定是球,可以是矩形),标记所有落入窗口内的点为
2、计算,如果 的值小于阈值或者是迭代次数到达某个阈值,则停止算法,否则利用上面求圆心的公式更新圆点,继续步骤1
meanshift在图像处理中的 聚类,跟踪中的应用
上面我们可看到,meanshift 算法每一步其实都是往密度最大的方向走,空间中的点的分布的密度刚好就可以运用到meanshift算法中,而一幅图像都是由密密麻麻的像素点组成,怎么利用密度分布的不一致来进行聚类呢?
首先我们想到的依旧是距离,距离越近,越有可能被分到同一类中。因此我们利用点的概率密度,也就是
离圆点 越近的像素点的,定义其概率密度越高
然后我们又可以想到,分到同一类的颜色一般都是比较接近的,所以再定义颜色概率密度:
与圆点 颜色越相似的点的概率越高
然后,每个点的概率密度分布可以由一下公式得到:
其中:代表空间位置的信息,离远点越近,其值就越大,表示颜色信息,颜色越相似,其值越大。
接下来就可以运 meanshift 算法进行聚类。
meanshift算法目标跟踪
在opencv中已经有库函数可以调用了:
<span style="color:#333333"><code class="language-c++">int cvMeanShift(const CvArr* prob_image,CvRect window,CvTermCriteria criteria,CvConnectedComp* comp );</code></span>
- 1
查看API可以知道,调用该函数时,需要输入的图像是反向投影图,什么是反向投影图,简单介绍一下:
图像的反向投影图是用输入图像的某一位置上像素值(多维或灰度)对应在直方图的一个bin上的值来代替该像素值,所以得到的反向投影图是单通的。用统计学术语,输出图像象素点的值是观测数组在某个分布(直方图)下的概率。
不懂?用例子说明一下:
- (1)例如灰度图像如下
Image=
0 1 2 3
4 5 6 7
8 9 10 11
8 9 14 15
- (2)该灰度图的直方图为(bin指定的区间为[0,3),[4,7),[8,11),[12,16))
Histogram=
4 4 6 2
- (3)反向投影图
Back_Projection=
4 4 4 4
4 4 4 4
6 6 6 6
6 6 2 2
例如位置(0,0)上的像素值为0,对应的bin为[0,3),所以反向直方图在该位置上的值这个bin的值4。
这下懂了吧,其实就是一张图像的像素密度分布图,而我们的meanshift算法本身就是依靠密度分布进行工作的,找到密度分布最大的地方。所以就很容易理解这个输入参数了。
半自动跟踪思路:输入视频,用画笔圈出要跟踪的目标,然后对物体跟踪。
用过opencv的都知道,这其实是camshiftdemo的工作过程。
第一步:选中物体,记录你输入的方框和物体。
第二步:求出视频中有关物体的反向投影图。
第三步:根据反向投影图和输入的方框进行meanshift迭代,由于它是向重心移动,即向反向投影图中概率大的地方移动,所以始终会移动到目标上。
第四步:然后下一帧图像时用上一帧输出的方框来迭代即可。
全自动跟踪思路:输入视频,对运动物体进行跟踪。
第一步:运用运动检测算法将运动的物体与背景分割开来。
第二步:提取运动物体的轮廓,并从原图中获取运动图像的信息。
第三步:对这个信息进行反向投影,获取反向投影图。
第四步:根据反向投影图和物体的轮廓(也就是输入的方框)进行meanshift迭代,由于它是向重心移 动,即向反向投影图中概率大的地方移动,所以始终会移动到物体上。
第五步:然后下一帧图像时用上一帧输出的方框来迭代即可。
总结
meanShift算法用于视频目标跟踪时,其实就是采用目标的颜色直方图作为搜索特征,通过不断迭代meanShift向量使得算法收敛于目标的真实位置,从而达到跟踪的目的。
在目标跟踪中:meanshift有以下几个优势:
(1)算法计算量不大,在目标区域已知的情况下完全可以做到实时跟踪;
(2)采用核函数直方图模型,对边缘遮挡、目标旋转、变形和背景运动不敏感。
同时,meanShift算法也存在着以下一些缺点:
(1)缺乏必要的模板更新;
(2)跟踪过程中由于窗口宽度大小保持不变,当目标尺度有所变化时,跟踪就会失败;
(3)当目标速度较快时,跟踪效果不好;
(4)直方图特征在目标颜色特征描述方面略显匮乏,缺少空间信息;
由于其计算速度快,对目标变形和遮挡有一定的鲁棒性,其中一些在工程实际中也可以对其作出一些改进和调整如下:
(1)引入一定的目标位置变化的预测机制,从而更进一步减少meanShift跟踪的搜索时间,降低计算量;
(2)可以采用一定的方式来增加用于目标匹配的“特征”;
(3)将传统meanShift算法中的核函数固定带宽改为动态变化的带宽;
(4)采用一定的方式对整体模板进行学习和更新;
相关阅读
飓风算法早在17年7月份的时候就已经发布出来了,时隔一年2个月算法再次升级,飓风算法2.0出现,再次对采集类网站敲响了警钟。对于采集
前不久一次ctf比赛里碰到的逆向题ida反编译出来一坨恶心的移位异或代码,当时直接蒙蔽谷歌也找不出,这次再度碰到类似的关键代码块也
背景知识:经典图形理论认为,一个象素可以有三原色构成,即红色,绿色,蓝色,即RGB。对于24位深度的图形系统,RGB各占8个BIT。一个象素占24个
此文章为转载,如有侵权,通知删除原地址:https://blog.csdn.net/zfpigpig/article/details/8526016上周好几天都在搞AES,总算是把Rijnd
人脸识别算法演化史https://zhuanlan.zhihu.com/p/36416906