汝阳网站建设,网站设计沟通,网站开发所需的费用,在线制作图片免费的软件目标
学习了解Meanshift 和Camshift 算法在视频中找到并跟踪目标
Meanshift
原理 Meanshift算法是一种基于密度的聚类算法#xff0c;用于将数据点划分为不同的类别。它的原理是通过数据点的密度分布来确定聚类中心#xff0c;然后将数据点移动到离其最近的聚类中心#…目标
学习了解Meanshift 和Camshift 算法在视频中找到并跟踪目标
Meanshift
原理 Meanshift算法是一种基于密度的聚类算法用于将数据点划分为不同的类别。它的原理是通过数据点的密度分布来确定聚类中心然后将数据点移动到离其最近的聚类中心并不断迭代这个过程直到收敛为止。假设我们有一堆点比如直方图反向投影得到的点)和一个小的圆形窗口,我们要完成的任务就是将这个窗口移动到最大灰度密度处(或者是点最多的地方)。如下图所示: 初始窗口是蓝色的C1它的圆心为蓝色方框“C1_o”而窗口中所有点质心却是“C1_r”(小的蓝色圆圈)很明显圆心和点的质心没有重合。所以移动圆心C1_o 到质心C1_r这样我们就得到了一个新的窗口。此时又可以找到新窗口内所有点的质心大多数情况下还是不重合的所以重复上述的操作:将新窗口的中心移动到新的质量心。就这样不停跌代操作直到窗口的中心和其所包含点的质心重合为止或者有一点小的误差。按照这样的操作我们的窗口最终会落在像素值(和)最大的地方。如上图所示:C2是窗口的最后位址我们可以看出来这个窗口中的像素点最多。整个过程如下图所示: 通常情况下我们要使用直方图方向投影得到的图像和目标对象的起始位置。目标对像的移动会反映到直方图反向投影图中。就这样meanshift 算法就把我们的窗口移动到图像中灰度密度最大的区域了。
步骤
下面是Meanshift算法的步骤
1.初始化每个数据点的聚类中心为其自身的位置。 2.对于每个数据点计算它与其他数据点的距离并根据距离确定一个窗口大小。 3.在窗口内计算数据点的质心即所有数据点的平均位置作为新的聚类中心。 4.将数据点移动到离其最近的聚类中心并更新聚类中心的位置。 5.重复步骤3和步骤4直到聚类中心的位置不再改变或达到最大迭代次数。
优缺点及结论 Meanshift算法的优点是不需要预先指定聚类的个数而是通过数据点的密度分布自动确定聚类中心。它在处理非线性、非凸的数据分布时表现良好并且对初始聚类中心的选择不敏感。然而Meanshift算法也有一些限制。首先它对大规模数据集的处理效率较低。其次算法的收敛速度较慢可能需要较多的迭代次数才能收敛。此外Meanshift算法对窗口大小的选择比较敏感不同的窗口大小可能导致不同的聚类结果。总的来说Meanshift算法是一种简单而有效的聚类算法适用于处理中等规模的数据集和非线性、非凸的数据分布。它在计算机视觉、图像分割等领域有广泛的应用。
OpenCV中的Meanshift 在OpenCV 中使用Meanshift 算法首先我们要对目标对象进行设置计算目标对象的直方图。这样在执行 meanshift 算法时我们就可以将目标对象反向投影到每一帧中去了。另外我们还需要提供窗口的起始位置。在这里我们计算HHue通道的直方图同样为了避免低亮度造成的影响我们使用函数cv2.inRange() 将低亮度的值忽略掉。
import numpy as np
import cv2
cap cv2.VideoCapture(slow.flv)
# take first frame of the video
ret,frame cap.read()
# setup initial location of window
r,h,c,w 250,90,400,125 # simply hardcoded the values
track_window (c,r,w,h)
# set up the ROI for tracking
roi frame[r:rh, c:cw]
hsv_roi cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
mask cv2.inRange(hsv_roi, np.array((0., 60.,32.)), np.array((180.,255.,255.)))
roi_hist cv2.calcHist([hsv_roi],[0],mask,[180],[0,180])
cv2.normalize(roi_hist,roi_hist,0,255,cv2.NORM_MINMAX)
# Setup the termination criteria, either 10 iteration or move by atleast 1 pt
term_crit ( cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1 )
while(1):ret ,frame cap.read()if ret True:hsv cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)dst cv2.calcBackProject([hsv],[0],roi_hist,[0,180],1)# apply meanshift to get the new locationret, track_window cv2.meanShift(dst, track_window, term_crit)# Draw it on imagex,y,w,h track_windowimg2 cv2.rectangle(frame, (x,y), (xw,yh), 255,2)cv2.imshow(img2,img2)k cv2.waitKey(60) 0xffif k 27:breakelse:cv2.imwrite(chr(k).jpg,img2)else:break
cv2.destroyAllWindows()
cap.release()
下面是我使用meanshift 算法对一个视频前三帧分析的结果 Camshift
原理 你认真看上面的结果了吗这里面还有一个问题。我们的窗口的大小是固定的而汽车由远及近在(视觉上)是一个逐渐变大的过程固定的窗口是不合适的。所以我们需要根据目标的大小和角度来对窗口的大小和角度进行修订。OpenCVLabs 为我们带来的解决方案1988 年提出一个叫做CAMshift 的算法。 Camshift算法是一种基于Meanshift算法的目标跟踪算法用于实时跟踪视频中的运动目标。它在Meanshift算法的基础上做了一些改进可以自适应地调整窗口大小并且可以处理目标的尺度变化和旋转。这个算法首先使用meanshift算法找到(并覆盖)目标之后再去调整窗口的大小 它还会计算目标对象的最佳外接椭圆的角度并以此调节窗口角度。然后使用更新后的窗口大小和角度来在原来的位置继续meanshift。重复这个过程直到达到徐亚的精度。 步骤
Camshift算法的步骤如下
1.初始化目标区域。首先选择一个初始的目标区域作为跟踪目标可以是手动选择或者通过其他目标检测算法获得。 2.计算目标的颜色直方图。在目标区域内计算目标的颜色直方图作为目标的特征表示。 3.在每一帧中计算目标区域的颜色直方图。根据上一帧的目标位置和窗口大小计算当前帧中目标区域的颜色直方图。 4.计算当前帧中目标区域的质心。根据窗口大小和颜色直方图使用Meanshift算法计算当前帧中目标区域的质心并将其作为新的目标位置。 5.更新窗口大小。根据目标区域的质心和颜色直方图计算新的窗口大小并进行缩放和旋转。 6.重复步骤3到步骤5直到目标区域的位置不再改变或达到最大迭代次数。
优缺点及结论 Camshift算法的核心是通过颜色直方图计算目标区域的质心并通过Meanshift算法不断迭代来跟踪目标。它优点是可以自适应地调整窗口大小适应目标的尺度变化和旋转。此外Camshift算法对初始目标区域选择相对不敏感可在一定程度上处理目标遮挡和背景干扰。然而Camshift算法也有一些限制。首先它对目标的颜色敏感当目标的颜色变化较大时可能会导致跟踪失败。其次算法对目标的形状变化不敏感难以跟踪形状变化较大的目标。总的来说Camshift算法是一种简单而有效的目标跟踪算法适用于处理实时视频中的目标跟踪任务。它在计算机视觉、机器人导航、交通监控等领域有广泛的应用。
OpenCV中的Camshift 与Meanshift 基本一样但是返回的结果是一个带旋转角度的矩形(这是我们的结果以及这个矩形的参数(被用到下一次迭代过程中)。下面是代码
import numpy as np
import cv2cap cv2.VideoCapture(slow.flv)# take first frame of the video
ret,frame cap.read()# setup initial location of window
r,h,c,w 250,90,400,125 # simply hardcoded the values
track_window (c,r,w,h)# set up the ROI for tracking
roi frame[r:rh, c:cw]
hsv_roi cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
mask cv2.inRange(hsv_roi, np.array((0., 60.,32.)), np.array((180.,255.,255.)))
roi_hist cv2.calcHist([hsv_roi],[0],mask,[180],[0,180])
cv2.normalize(roi_hist,roi_hist,0,255,cv2.NORM_MINMAX)# Setup the termination criteria, either 10 iteration or move by atleast 1 pt
term_crit ( cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1 )while(1):ret ,frame cap.read()if ret True:hsv cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)dst cv2.calcBackProject([hsv],[0],roi_hist,[0,180],1)# apply meanshift to get the new locationret, track_window cv2.CamShift(dst, track_window, term_crit)# Draw it on imagepts cv2.boxPoints(ret)pts np.int0(pts)img2 cv2.polylines(frame,[pts],True, 255,2)cv2.imshow(img2,img2)k cv2.waitKey(60) 0xffif k 27:breakelse:cv2.imwrite(chr(k).jpg,img2)else:break
cv2.destroyAllWindows()
cap.release() 对三帧图像分析的结果如下 camshift的交互式演示 OpenCV官方提供了一个交互式演示代码来展示Camshift算法的效果。以下是示例代码的主要步骤
1.导入必要的库和模块
import numpy as np
import cv22.定义鼠标事件的回调函数
def mouse_callback(event, x, y, flags, param):# 处理鼠标事件3.创建窗口和摄像头对象
cv2.namedWindow(CamShift Demo)
capture cv2.VideoCapture(0)4.初始化一些变量
# 设置初始目标区域
selection None
drag_start None
tracking_state 05.定义鼠标事件回调函数的具体实现
def mouse_callback(event, x, y, flags, param):global selection, drag_start, tracking_stateif event cv2.EVENT_LBUTTONDOWN:drag_start (x, y)tracking_state 0if drag_start:if flags cv2.EVENT_FLAG_LBUTTON:h, w frame.shape[:2]xo, yo drag_startx0, y0 np.minimum(xo, x), np.minimum(yo, y)x1, y1 np.maximum(xo, x), np.maximum(yo, y)x0, y0 np.maximum(0, x0), np.maximum(0, y0)x1, y1 np.minimum(w, x1), np.minimum(h, y1)selection Noneif x1-x0 0 and y1-y0 0:selection (x0, y0, x1, y1)else:drag_start Noneif selection is not None:tracking_state 16.在循环中处理每一帧图像并进行Camshift跟踪
while True:# 读取一帧图像ret, frame capture.read()if not ret:break# 复制一份原始图像vis frame.copy()# 转换为HSV颜色空间hsv cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)# 如果已经选择了目标区域则进行Camshift跟踪if selection is not None:# 提取目标区域的颜色直方图x0, y0, x1, y1 selectionhsv_roi hsv[y0:y1, x0:x1]mask cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.)))roi_hist cv2.calcHist([hsv_roi], [0], mask, [16], [0, 180])cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX)# 使用Camshift算法进行跟踪term_crit (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1)hsv_backproj cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1)ret, track_window cv2.CamShift(hsv_backproj, (x0, y0, x1-x0, y1-y0), term_crit)# 绘制跟踪结果pts cv2.boxPoints(ret)pts np.int0(pts)cv2.polylines(vis, [pts], True, (0, 255, 0), 2)# 如果正在拖动选择目标区域则绘制选择框if drag_start:x, y drag_startcv2.rectangle(vis, (x, y), (x1, y1), (0, 255, 0), 2)cv2.imshow(CamShift Demo, vis)# 显示图像并等待按键cv2.imshow(CamShift Demo, vis)if cv2.waitKey(1) 27:break这个示例代码展示了如何使用Camshift算法进行目标跟踪并通过鼠标事件实现了交互式的目标选择和跟踪。你可以在这个基础上进行修改和扩展以适应你的具体应用场景。
