图像拼接

　

图像拼接

图像拼接

转载自

https://blog.csdn.net/wahaha_nescafe/article/details/8501539

https://blog.csdn.net/wahaha_nescafe/article/details/8506864

• 图像拼接本质上是对待拼接的图像的重叠部分进行配准和图像融合的过程
• 图像配准可以确定图像之间的变化关系
• 图像融合使得合成图像实现自如过渡,最后实现无缝拼接

图像拼接过程主要有以下5步骤:

1. 图像获取 – 包括利用相机获取图像
2. 图像预处理 – 去除噪声和图像畸变校正
3. 图像配准 – 图像配准就是把不同时刻,不同视点,不同相机拍摄得到的两幅或多幅图像进行空间上的对齐,是图像拼接的一个关键步骤.
4. 图像再投影 – 用配准参数将所有图像投影到同一坐标系下,并合并为一幅渲染图像
5. 图像融合 – 为了改善拼接图像的视觉效果,需要对图像进行平滑处理,消除图像合成时在重叠区域上出现的拼缝和结构上的无配准.

基本流程:

图像预处理

分别为校正与噪声抑制两个部分:

1. 校正 – 根据图像失真原因,建立相应的数学模型,从被污染或畸变的图像信号中提取出所需要的信息,沿着使图像失真的逆过程恢复图像本来面貌.

   实际复原过程是设计一个滤波器,使得其能从失真图像中计算得到真实图像 的估值,使其根据预先规定的误差准则,最大程度地接近真实图像

2. 噪声 – 各种类型的噪声反映在图像画面中,大致可以分为两种类型.

   一是噪声的幅值基本相同，但是噪声出现的位置是随机的，一般称这类噪声为椒盐噪声。

   二是每一点都存在噪声,但噪声的幅值是随机分布的,从噪声幅值大小的分布统计来看,其密度函数有高斯型,瑞利型,分别称为高斯噪声和瑞利噪声.又如频谱均匀分布的噪声称为白噪声.

处理方法

1. 均值滤波
2. 中值滤波

图像配准

其实是四个要素的组合. 即:

1. 选定特征空间 – 特征空间是由参与匹配的图像特征构成.

   特征可以为图像的灰度特征,也可以是边界,轮廓,显著特征(如角点,线交叉点,高曲率点),统计特征(如据不变量,中心),高层结构描述与句法描述.

   这其实是定义了配准的空间范围

2. 相似性度量 – 评估待匹配特征之间的相似性,它通常定义为某种代价函数或者距离函数;

   这是定义需要选定的某种算法

3. 搜索空间 – 待估计参数组成的空间就是搜索空间.也就是说,搜索空间是指所有可能的变换组成的空间.

   这其实是定义了搜索算法的时间复杂度

4. 搜索策略 – 搜索策略是指用合适的方法在搜索空间中找出平移 / 旋转等变换参数的最优估计,使得相似性度量达到最大值

   这其实是定了搜索算法的时间复杂度

基于区域的配置方法

• 基于区域的配准方法 – 不检测图像中的特征,直接使用窗口或者整幅图像来进行配准.

• 从待拼接图像的灰度值出发,对待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法计算其灰度值的差异，对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待拼接图像重叠区域的范围和位置，从而实现图像拼接。也可以通过FFT 变换将图像由时域变换到频域，然后再进行配准。对位移量比较大的图像，可以先校正图像的旋转，然后建立两幅图像之间的映射关系。

• 非主流研究方向

• 评价：

  基于区域的方法实现简单，应用范围较窄，它的局限性来源于它的基本思想。

  首先，它使用的矩形窗口只适用于配准平移变换的图像，如果图像有更复杂的变形，矩形窗口就不能覆盖参考图像和待匹配图像中的同一场景区域；

  另外，它依赖于窗口中的图像内容，当窗口中图像内容平滑而没有显著细节时，很容易引起与其他平滑区域的错误匹配。

  再次，在最优变换的搜索过程中往往需要巨大的运算量，且对噪声的影响和对比度的差异很敏感，鲁棒性不强。

基于特征的配准方法

• 基于特征的图像配准方法有很多基本形式及其改进，其总体特点是：不直接利用图像像素值，而是通过像素值导出图像内容最抽象的描述和符号特征，并用此特征为匹配模板，查找几幅待配准图像的灰度局部最大值点、边界边缘轮廓、边缘点、边缘线段、组织(纹理)结构、角、顶点、拐点、交叉点、线段、封闭曲线等低级对应特征点及利用特征图像关系图等高级特征，构造方程组，通过数值计算得到变换数来进行图像对齐，进而确定两者的匹配位置，实现特征点、特征线段等的拼接，并且可以提高计算速度。

• 基于特征的配准方法,一般分为4个步骤:

  1. 特征检测 – 从图像中检测出显著且独特的图像特征，包括闭合区域、直线段、边缘、轮廓、点
  2. 特征匹配 – 相似性度量,确定图像之间特征的对应关系. 又分为如下几个小类:
     1. 使用空域关系的方法
     2. 使用不变描述符的方法
     3. 松弛方法
     4. 金字塔和小波的方法
  3. 变换模型的估计 – 变换函数选择和参数估计
  4. 图像变换和重采样 – 可以通过前向或后向的方式来实现. 插值的方法有最近邻插值,双线性插值,双三次函数插值,二次样条插值,三次B样条插值,高阶B样条插值;

• 评价：

  基于特征的方法普遍适用于局部结构信息比灰度信息更显著的情况，能够处理图像之间复杂变形的情况，

  不足之处是特征检测困难且不稳定，最关键的一点是需要有一种判别力很强的、鲁棒的且对图像之间变化保持不变的特征匹配算法。

图像再投影

• 基本方法: 需要选择一个合成面,如仅仅是几张图像进行拼接,一个普遍的方法就是选择其中的一幅图像作为参考图像,然后把所有其他的图像都进行扭曲变形到参考图像的坐标系上去.主要合成的结果成为平面全景图.这是一个 透视投影变换 ;
• 为了减少投影失真 平面投影 | 圆柱面投影 | 球面投影 | 立方体投影

平面再投影

• 选其中某一张图像为参考图像，然后把所有其它的图像进行扭曲变形，从而变换到参考图像的坐标系中去。由于这种模型本质上还是透视投影，因此图像在扭曲变形之后直线仍然还是直线。
• 对于大视场的图像拼接，平面投影方法会使得最终拼接图像在边缘出现扭曲过大的情况。在实际，当视场接近或超过90时，平面投影的拼接图像会有很大的失真。

柱面再投影

• 圆柱面再投影非常适合于相机绕单一轴线旋转所得到的图像序列拼接，在这种情形下．在不同旋转角度得到的图像由完全的水平位移相关联。这一点很有意义，因为它避免了复杂的单应变换的计算，而且输出得到的图像没有平面再投影存在的扭曲。
• 相反，场景中的直线被映射为正弦曲线。但是，这种方法需要对相机进行预先的标定，计算出相机的焦距和光心的偏移半标。

球面再投影

• 球面再投影的优点是可以实现任意角度的旋转，
• 但缺点是由于每个球面图像有多个相邻图像，因此在球面再投影中图像求交定位比较困难，而且很难找到一个与球面相对应且易于存取的数据结构。

图像融合技术

• 在完成了两幅图像的配准之后，得到了两幅图像之间的变换矩阵，就可以确定它们之间的重叠区域;
• 图像融合的任务就是把配准后的两幅图像根据配准的位置合并为一幅拼接图像。
• 这一步主要包括了如何选择再投影合成面以及如何对两幅图像重叠区域的像素进行混合而得到一幅无缝且清晰的图像。
• 所谓无缝，是指在图像拼接结果中，不应该看到两幅图像在拼接过程中留下的痕迹，即不能出现图像拼接缝隙。然而，由于待拼接的两幅图像分别是由不同的相机在同一时刻采集的，受相机固有因素的影响，采集得到图像的曝光率不可能完全一致，如果在图像的融合中，仅仅将两幅图像重叠区域简单地叠加起来，在它们的过渡区域必然会有明显的拼接缝隙。
• 另一方面，在图像配准阶段所得到的图像之间的变换模型只是针对整个图像区域，对一些存在局部非规则形变的图像而言，全局变换模型在图像的局部区域可能不适用，而使得拼接图像的局部没有对齐，因此在拼接图像中会出现局部模糊。如何处理图像融合过程中出现的拼缝和模糊问题，实现真正意义上的无缝且清晰的图像，正是图像融合过程所要解决的问题。

融合策略的选择应当满足两方面的要求：

• 拼合边界过渡应平滑,消除拼接缝实现无缝拼接
• 尽量保证不因为拼合处理二损失原始图像的信息

图像融合可以分为三类

1. 像素级融合
2. 特征级融合
3. 决策级融合

像素级(数据级)融合

• 是在图像严格配准的条件下，直接进行像素关联融合处理；像素级融合是最基本的处理手段，也是研究最多的一种，目前主要有以下几种方法:
  1. 平均值法
  2. 加权平均
  3. 中值滤波
  4. 多分辨率技术

特征级融合

• 特征级融合是在像素级融合的基础上，使用模式相关、统计分析的方法进行目标识别、特征提取，并得到融合结果；

决策级融合

• 决策级融合主要是基于认知模型的方法，采用大型数据库和专家决策系统，模拟人的分析、推理过程，以增加判决的智能化和可靠性。

算法介绍

1.1 图像预处理

• 通过几何变形校正方法对采集到的图像进行校正后，可以使得相同景物在图像重叠区域所成的像有相同的形状和一致的空间相对位置。

1.2 图像特征检测

• 图像特征检测包括如下几种类型的特征检测：
  1. 闭合区域
  2. 轮廓与边缘区域
  3. 角点
  4. 线条

1.2.1 闭合区域

• 闭合区域特征是通过 图像分割 的方法来检测到的，分割的精度会大大地影响配准的结果。
• 选择尺度不变区域特征引起了关注，虚拟圆的思想来计算图像之间平移和尺度的变化，虚拟圆是一个半径最大的圆，这个圆所涵括的背景区域不包含边缘点，一对虚拟圆就足够求出平移和尺度的变化量，它相对于图像边缘特征来说鲁棒性更强，但缺点是易受局部变化的影响

1.2.2 边缘与轮廓

• 边缘和轮廓 – 所谓边缘轮廓是指甚周围像素灰度有阶越变化或屋顶变化的那些像素的集合。在选取基准特征块时，人们首先会注意到含有一些主体信息、纹理相对复杂、易吸引眼球的物体，并把它作为参照物。边缘轮廓信息正好反映了图像不易受外界光照条件(对光照条件不敏感)的影响而产生剧烈变化的内在性质及像素灰度相对变化的特征，抗灰度和几何畸变能力强，稳定可靠。
• 诸如有Canny算子、LoG（高斯一拉普拉斯）算子、Sobel检测算子。

1.2.3 角点特征检测算法

• 在特征提取方法中，准确选取图像中的特征点，可以减少计算的数据量，相比提取图像边缘特征，能够更好地满足实时处理的要求。

• 在图像的特征点中，人们比较关注获取图像的角点信息，这是因为角点保留了图像中的重要的局部信息，一副图像中角点的像素点个数占整幅图像像素点的比例不超过0.1%，同时角点具有如旋转不变性，几乎不受光照条件的影响等良好性质，因此，一个快速有效的角点检测方法对图像处理工作能否达到令人期待的效果至关重要。此外，角点特征提取技术不仅在基于特征的图像配准中有广泛的应用，在图像理解与模式识别等领域中也是研究人员关注的热点。

• 角点位置的精度影响到拼接的效果，如果图像中抽取的角点位置不精确，会导致单应性变换矩阵的参数不精确，拼接融合后图像有一定的模糊，成为“鬼影”。

• 角点检测分为基于几何和基于灰度两种方法:

  • 基于几何方法 – 前者采用图像分割的方法抽取图像边缘，然后在边缘处寻找有意义的拐点，在图像比较复杂时，检测的效果很不理想。但如果把局部梯度相乘，梯度方向会发生改变，能很好的分离出角点。
  • 基于灰度方法 – 有人则发现灰度图像的所有的曲率与边缘法线成正例，而与边缘强度成反比。有人提出兴趣点检测器，图像上的一个局部窗口在四个方向上平移，求取亮度的平均变化。Harris 和Stephens修改了此算法，估计一次微分的自相关。这些方法由于都对图像进行了微分，因此对噪声敏感。Smith 和Brady 发现的SUSAN算法不依赖于图像的微分，对噪声有很强的适应性。

• 角点

  • 优秀的角点检测方法需要满足如下标准：

  (1).所有真实的角点都被发现到；

  (2).没有虚假的角点被当做角点检测出来；

  (3).角点在图像中的定位精确；

  (4).角点检测器必须对噪声有鲁棒性；

  (5).角点检测算子的效率应该是高效的

  • 检测算法的发展：

  • Harris 角点检测算子

  • SUSAN (Small Univalue segment AssimilatingNucleus)算子
  • Trajkovic算子

  • Harris-Laplace算子

  • 梯度表示SIFT

  • 角点检测对于尺度是变化的，为此要有新方法，即梯度特性。

  • SIFT算法是David G．Lowe在1999年首先提出的用于目标识别的一个方法，首先对两幅图像在尺度和灰度两个空间进行特征检测，利用拉普拉斯金字塔的性质消除尺度变化的影响，确定关键点的位置和所处的尺度，然后用关键点邻域梯度的主方向作为该点的方向特征，以实现算子对尺度和方向的无关性，生成关键点的SIVF特征向量，利用该向量进行匹配。David Lowe在2004年总结了现有的给予不变量技术的特征检测算法，井正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变挟保持不变性的图像局部特征描述算子一SIFT，即尺度不变特征变换。

  • SIFT算法生成图像特征的主要步骤有以下几个：

    （1）尺度空间极值检测：搜索所有尺度上的图像位置。通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。

    （2）关键点的定位：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。关键点的选择依据于它们的稳定程度。

    （3）方向的确定：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。

    （4）关键点描述：在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。

1.3 图像特征匹配

• 特征点匹配是指找出需要配准的两幅图像中正确匹配的特征点。
• 由于拍摄时间、拍摄视点、拍摄角度、光照等条件的变化，使拍摄的图像存在旋转、缩放、射影变换、光照变化等。在这种条件下，要实现正确匹配是非常困难的。因而确定一个合适的准则进行匹配就显得尤为重要了。
  • 基于像素平方和(SumofSquared Differences，简称SSD)的匹配方法
  • 基于自相关(CrossCorrelation)的匹配方法

1.4 图像配准算法

1.4.1 RANSAC算法

• RANSAC是“RANdom SAmpleConsensus（随机抽样一致）”的缩写

1.5 图像融合算法

• 图像融合基本分三类：像素级、特征级、决策级。
• 迄今为止，数据融合方法主要是在像素级和特征级上进行的。常用的融合方法有HIS融合法、KL变换融合法、高通滤波融合法、小波变换融合法、金字塔变换融合法、样条变换融合法等。下面简要介绍其中的几种方法。

HIS融合法

KL变换融合法

高通滤波融合法

小波变换融合法

未完待续…

相关阅读

图像拼接算法(zz)

图像拼接算法原理 1: http://planckscale.info/?p=7 http://planckscale.info/?p=84 http://blog.csdn.net/xiaolizi399/article/

matlab图像拼接融合(四种方法)

matlab图像拼接的四种方法1、直接拼接，2、亮度调整后拼接，3、按距离比例融合，4、亮度调整后按距离比例融合流程：1。读入左，右图，并取出