1.概述
该文章介绍OpenCV-Python中关于视频分析的两个主要内容，分别为：
- 🐟背景差分法移动物体检测
- 🐟Meanshift和Camshift算法物体追踪
PS：视频分析还要一个重要的内容：光流法运动轨迹绘制，在以后的文章中介绍。
2.原理介绍
2.1背景差分法移动物体检测
静态摄像机拍摄的画面，大部分场景是没有变化的，并且这部分一般不需要被特别关注。与此对应的视频中的动态物体更值得关注和分析。
背景差分法原理上非常简单，就是将当前的画面与背景做减法，减去没有变化的背景，留下场景中变化的物体（一般是运动的），借用官网的一张图片便于理解。
因此该算法较为关键的一部分就是背景图片的构建，它包含两部分，分别为①初始化背景，②背景更新。但是这两步在OpenCV-Python中都不需要自己书写代码，createBackgroundSubtractor()就可以生成相关算法的对象，下面两句是在不同算法下的背景蒙版分别为MOG2和KNN，他们用法相同，使用apply()方法逐帧输入图片即可，从结果来看，KNN效果要更好一点。
#下面两行二选一
#backSub = cv.createBackgroundSubtractorMOG2()
backSub = cv.createBackgroundSubtractorKNN()
fgMask = backSub.apply(frame)
提取背景蒙版之后，使用简单的代码就可以完成目标的提取也就是：
Deobject=cv.add(frame,frame,mask=fgMask)相关步骤显示效果如：
|
|
|
|
| 原图 | 背景蒙版 | 目标提取 |
2.2Meanshift和Camshift算法对物体追踪
Meanshift可以翻译为均值偏移，Camshift全称为Continuously Apative Mean-Shift，是Meanshift改进。
首先介绍Meanshift，它实际上是以要追踪物体的直方图作为参照，在每个图形的下一帧，搜索物体附近区域，如果找到与该物体直方图相似度很大的区域，就把他判定为该物体继续追踪。因此在该算法中，需要经过一下几个步骤。如下图：
- 在第一帧中选定要追踪物体的区域
- 将色彩转化为HSV，然后生成直方图
- 在下一帧中找到与当前直方图相似的区域，将该区域划定为要追踪的物体。这一步用到了cv.CamShift(probImage, window, criteria），它的三个参数分别为直方图反投影、物体所在窗口，算法停止标准
- 继续下一帧搜索追踪。
下面介绍Camshift，它主要解决了Meanshift的一个问题，就是Meanshift的窗口大小是固定的，由于视频的物体都有近大远小的特点，因此如果物体在镜头前后移动，算法识别准确率不高，Camshift考虑到了这一问题，它会在Meanshift匹配率低的时候，对窗口大小进行调整，详细步骤在代码中介绍。
效果对比：
| 初始图像 | 算法 | 跟踪结果 |
|
| Meanshift |
|
| Camshift |
|
3.代码分析
环境配置见文章OpenCv-Python图像特征识别_Matrix_CS的博客-CSDN博客
3.1背景差分法移动物体检测
该方法使用Open-CV中的BackgroundSubtractor，自动进行背景生成和背景更新，最后使用背景蒙版和原始图像做运算，将运动物体提取出来。
from __future__ import print_function
import cv2 as cv
import argparse'''
该代码尝试使用背景差分法，完成了固定摄像头中，动态物体的提取。
'''
#有两种算法可选，KNN和MOG2，下面的代码使用KNN作为尝试
algo='KNN'
if algo == 'MOG2':backSub = cv.createBackgroundSubtractorMOG2()
else:backSub = cv.createBackgroundSubtractorKNN()
#打开一个视频文件
capture = cv.VideoCapture(cv.samples.findFileOrKeep('vtest.avi'))
#判断视频是否读取成功
if not capture.isOpened():print('Unable to open')exit(0)
#逐帧读取视频，进行相关分析
while True:#读取视频的第一帧ret, frame = capture.read()if frame is None:break#使用定义的backSub对象，输入新的一帧frame，生成背景蒙版fgMask = backSub.apply(frame)#将原视频的当前帧和蒙版做相加运算，将前景物体提取出来Object=cv.add(frame,frame,mask=fgMask)#展示视频中的物体，三个窗口分别表示原视频、背景、移动目标cv.imshow('Frame', frame)cv.imshow('FG Mask', fgMask)cv.imshow('Object',Object)#每帧展示结束，等待30毫秒keyboard = cv.waitKey(30)#按q推出程序if keyboard == 'q' or keyboard == 27:break3.2 Meanshif算法对物体追踪
使用Meanshif算法对物体进行追踪，根据要追踪物体的直方图特征，查询运动物体周围图像，进行匹配，返回移动后的物体位置。
import numpy as np
import cv2 as cv
import argparse
'''
使用Meanshift算法，对视频中的指定物体进行追踪
'''cap = cv.VideoCapture('slow_traffic_small.mp4')
#对显示窗口命名
cv.namedWindow('image')
#读取视频第一帧
ret,frame = cap.read()
#定义一个范围作为要追踪的物体，在这选取的是一辆车
x, y, w, h = 306, 194, 80, 40
track_window = (x, y, w, h)
# 从第一帧frame中，把范围中的图片提取出来
roi = frame[y:y+h, x:x+w]
# 转化为hsv颜色，因为画直方图一般会用这个色彩格式
hsv_roi = cv.cvtColor(roi, cv.COLOR_BGR2HSV)
#生成一个蒙版，把不在范围内的颜色筛去
mask = cv.inRange(hsv_roi, np.array((0., 60.,32.)), np.array((180.,255.,255.)))
#生成直方图
roi_hist = cv.calcHist([hsv_roi],[0],mask,[180],[0,180])
#进行直方图归一化
cv.normalize(roi_hist,roi_hist,0,255,cv.NORM_MINMAX)
# 设置终止标准，10 次迭代或移动至少 1 像素
term_crit = ( cv.TERM_CRITERIA_EPS | cv.TERM_CRITERIA_COUNT, 10, 1 )
while(1):#读取视频下一帧ret, frame = cap.read()#ret用来判断视频是否读取成功if ret == True:#保持跟上面一致的色彩格式hsvhsv = cv.cvtColor(frame, cv.COLOR_BGR2HSV)#这一步计算hist的反投影，是为了下面作为输入便于读取dst = cv.calcBackProject([hsv],[0],roi_hist,[0,180],1)# 使用meanShift找到匹配的窗口ret, track_window = cv.meanShift(dst, track_window, term_crit)#下面的代码就是用一个矩形框把识别到的物体圈出来x,y,w,h = track_windowimg2 = cv.rectangle(frame, (x,y), (x+w,y+h), 255,2)cv.imshow('image',img2)#等待30毫秒，按ESC退出k = cv.waitKey(30) & 0xffif k == 27:breakelse:break3.3 Camshift算法对物体追踪
该方法是对Meanshif算法的改进，窗口大小可以根据物体移动进行调整，代码和Meanshif算法十分类似。
import numpy as np
import cv2 as cv
import argparse
'''
使用CamShift算法跟踪物体，该算法改进了MeanShift，它的窗口大小会进行自定义调整
'''
#打开视频
cap = cv.VideoCapture('slow_traffic_small.mp4')
#读取视频第一帧
ret,frame = cap.read()
#定义一个范围作为要追踪的物体，在这选取的是一辆车
x, y, w, h = 306, 194, 80, 40 # simply hardcoded the values
track_window = (x, y, w, h)
# 从第一帧frame中，把范围中的图片提取出来
roi = frame[y:y+h, x:x+w]
# 转化为hsv颜色，因为画直方图一般会用这个色彩格式
hsv_roi = cv.cvtColor(roi, cv.COLOR_BGR2HSV)
#生成一个蒙版，把不在范围内的颜色筛去
mask = cv.inRange(hsv_roi, np.array((0., 60.,32.)), np.array((180.,255.,255.)))
#生成直方图
roi_hist = cv.calcHist([hsv_roi],[0],mask,[180],[0,180])
#进行直方图归一化
cv.normalize(roi_hist,roi_hist,0,255,cv.NORM_MINMAX)
# 设置终止标准，10 次迭代或移动至少 1 像素
term_crit = ( cv.TERM_CRITERIA_EPS | cv.TERM_CRITERIA_COUNT, 10, 1 )
while(1):#读取视频下一帧ret, frame = cap.read()#ret用来判断视频是否读取成功if ret == True:# 保持跟上面一致的色彩格式hsvhsv = cv.cvtColor(frame, cv.COLOR_BGR2HSV)# 这一步计算hist的反投影，是为了下面作为输入便于读取dst = cv.calcBackProject([hsv],[0],roi_hist,[0,180],1)# 使用CamShift找到匹配的窗口ret, track_window = cv.CamShift(dst, track_window, term_crit)#下面的代码就是用一个四边形把识别到的物体框出来pts = cv.boxPoints(ret)pts = np.int0(pts)img2 = cv.polylines(frame,[pts],True, 255,2)cv.imshow('img2',img2)k = cv.waitKey(30) & 0xff# 等待30毫秒，按ESC退出if k == 27:breakelse:break
