个人网站实例,网站开发项目组团队,华为手机网络营销方式,专业开发网站报价单接触图像配准是从去年十月份开始的#xff0c;老师要求我尽快重现一遍整个流程#xff0c;这样对课题可以有一个整体的把握#xff0c;而后再仔细推敲细节#xff0c;甚至提出自己的想法#xff0c;老师的这个思路现在觉得非常不错。自己当时选取的是SURF方法#xff0c;…接触图像配准是从去年十月份开始的老师要求我尽快重现一遍整个流程这样对课题可以有一个整体的把握而后再仔细推敲细节甚至提出自己的想法老师的这个思路现在觉得非常不错。自己当时选取的是SURF方法因为是对SIFT的改进改进的当然好一点吧但后来发现要想深刻地理解算法原理还是要研究更具有里程碑意义的SIFT在这个阶段从调用opencv库转为研究Rob Hess的源码第一次仔细看源码教科书搬实现了David G.Lowe的论文从尺度空间的构建到kd树的建立不由惊呼这才叫写代码我这一天净是写bug了。后来开题答辩在知乎上了解到还有KAZE的算法于是又简单研究了一下非线性尺度空间的构建据说这种算法保留了图像更多的细节。再后来有文章要投稿搞不了里程碑式的原创只能在前人基础上修修补补那么在哪个基础上修补也是个问题虽然当时含糊选择了SIFT进行改进但还是对现存算法的性能没有确切的认识为了调研清楚这其实是开题阶段应该做的对现存主流算法的横向比较变得势在必行。这一工作其实已经被邹宇华做完了但问题在于重现他的代码时出现了许多问题下面我仔细讲一下遇到的问题和对应的解决办法。
虽然OpenCV版本号已经符合2.4以上的标准但是头文件找不到utinity.hpp。在网上查了好久这个文件在OpenCV3以上才有但实验证明简单地把OpenCV3的这个文件放到目录中是行不通的。最后改来改去也只是实现了SIFT、SURF等方法的比较。不知道如何把KAZE加入到Feature2D类。编译安装OpenCV3.2之后实现了KAZE、AKAZE等的比较但却无法实现与SIFT、SURF的比较查资料才发现在3.0以上是版本中把一些算法放在了xfeature中而这一模块要手动添加扩展模块opencv_contrib。编译过程要选择和自己的OpenCV版本对应的模块。环境变量、库目录、包含库、附加依赖项都配置好之后终于可以加入算法比较了但还要注意SIFT调用方法的变化。原始代码中有一些注释掉的地方其实是有用的我简单进行了修改进行了使用否则得到的txt文件数据部分都是初始值0.此外我还对FrameMatchingStatistics类加入了峰值信噪比PSNR作为评价标准衡量配准后的图像与参考图像的相似性在printPerformanceStatistics函数中增添了计算平均每幅图检测到的特征点的数目。最后通过matlab把性能曲线画出来。每一项的改进过程中都失败多次也收货满满比如PSNR函数只能求灰度图像的信噪比无穷大范数比较两个矩阵perspectiveTransform对特征点集的变换它也只能对坐标进行变换这些都写在代码的注释部分。实验图像、c代码、实验生成的txt文件和matlab代码都挂在了github上欢迎fork、star。https://github.com/zcg1942/Opencv3_FeatCompare
(1)homographyError(2)correctMatchesPercent(3)percentOfMatches(4)matchingRatio(5)Meandistance(6)PSNR(7)performance下面是我对实验结果的分析 亮度 source cv::Scalar(t,t,t,t)高斯模糊 cv::GaussianBlur()实现高斯核是参数边长为t*21大小的矩阵旋转 warpAffine函数实现旋转。getRotationMatrix2D函数得到旋转中心旋转角度 cv::INTER_CUBIC内插尺度缩放 Resize()实现 source.cols * t 0.5f (source.rows * t 0.5f)) cv::INTER_AREA内插homographyError矩阵误差。配准求得的变换矩阵与真实的矩阵之积应该是单位阵。矩阵之积与单位阵之差求其无穷范数只取小于1的部分表现最好的是SIFT、SURF、BRISK。ORB在亮度-100的部分最差趋势都是模糊程度越高效果也差。表现最好的依次是KAZE、AKAZE、SIFT、SURF。但KAZE在核大于7后有一个跃变表现最好的依次是KAZE、AKAZE、BRISK。 SIFT的性能曲线较平滑在参数180度取极小值左右对称分布大体呈上凸的抛物线SIFT性能最好且最稳定。其次是SURF和KAZEKAZE波动更大。correctMatchesPercent correctMatches / matchesCount 正确匹配对与初始匹配对之比。距离误差小于3认为是正确匹配SIFT、BRISK、KAZE、AKAZE效果最好表现最好的依次是AKAZE、KAZE在80%以上。ORB性能次之但性能下降最快表现最好的是AKAZE、SIFT、ORB。最差的是SURF。所以算法都在90 度倍数附近有较大极值表现最好的是AKAZE、KAZE、ORB、SIFTpercentOfMatchesmatchesCount / (s.totalKeypoints)初匹配对数与变换后的待配准图像提取出的特征点的数目之比表现最好的依次是AKZE、SIFT、KAZE都在90%以上AKAZE、BRISK、KAZE表现最好且能维持在90%以上。SIFT在高斯核变大后反而性能变好也可达90%AKAZE表现最好ORB、SIFT、KAZE其次。都有几个明显的极值分别是90、180、270度左右AKAZE表现最好其余除了ORB都差不多。但尺度大于1时除了BRISK和ORB其余都急剧下降到低水平matchingRatio() correctMatchesPercent * percentOfMatches * 100.0f;表现最好的是AKAZE。性能曲线走势和correctMatchesPercent相近同左同左同左Meandistance 将待配准图像按照求出的矩阵的逆变换回去后的特征点与原图的距离的均值SURF、KAZE距离的平均值几乎为0KAZE稍高一些也只有0.2左右。其次是SIFT SURF、KAZE距离的平均值几乎为0KAZE稍高一些也只有0.2左右。其次是AKAZE、ORB SURF、KAZE距离的平均值几乎为0KAZE稍高一些也只有0.2左右。其次依次是ORB、AKAZE。所有算法都有明显的极小值 SURF、KAZE距离的平均值几乎为0KAZE稍高一些也只有0.2左右 其次是ORB、AKAZEPSNR峰值信噪比表现几乎一样ORB在低亮度的时候稍差。曲线在明暗两部分几乎对称分布表现几乎一样ORB在高斯模糊算子大于5的部分稍差一点。高斯算子小于3时PSNR都在30~34平缓分布表现几乎一样曲线几乎重合。在旋转角度10度时就从350dB骤降到15曲线在180度左右对称分布尺度缩放时不同算法表现差异最大。KAZE、SIFT、SURF在尺度放大时平稳增大缩小时平稳降低。AKAZE、BRISK、ORB性能稍差且波动较大每帧图像提取特征点到匹配的耗时平均每个特征点的耗时平均每帧变换图的总特征点数每个特征点耗时和每幅图像耗时最高的都是KAZE和SIFT最少的是BRISK和ORB。检测出的特征点数最多的是SURF最少的是ORB有几百个其他的都在1000个以上
剩下的几点疑惑和值得注意的地方在旋转变换中匹配率与旋转角度近似成周期为90度的关系当以峰值信噪比为评价标准时PSNR与旋转角度没有这种周期关系且在旋转角度刚达到10度就急剧下降到15dB只在180度时可以达到30dB左右目前猜测应该是变换模型太简单因为只是利用密集透视变换函数warpPerspective()做了透视变换没有充分利用好匹配得到的匹配对在meandistance的标准下SURF表现明显好过其他算法不管在哪个变换变换参数多大都稳定保持在接近0的状态这值得关注。
这就是目前的一些进展。虽然已经涵盖了各种变换但是原始图像的选择还是非常重要我这里选取的是University of Oxford的特征点检测数据集中的一幅图片在这个网站上其实也有很多特征点、角点、区域的检测、描述的比较。不同种类的图像有自己独特的特征如何针对具体的图像做优化应该可以结合机器学习进一步改进。
