数字图像处理课程设计-疲劳检测系统

前言

此系统基于MATLAB设计,核心思想是PERCLOS算法.
参考文章MATLAB疲劳检测系统 - 知乎
需要源码的,私信或者留下邮箱

一、课程设计任务

应用数字图像处理相关知识和技术实现某一应用，如人脸识别、动物识别、水果识别等综合性任务，题目自选。

本文在matlab R2018b开发环境下，实现人脸检测系统。

疲劳检测可以应用于大巴车司机，货车司机疲劳驾驶监测，现在很多情况下大巴车或者货车等司机都由于休息不好，疲劳上路，这就给安全造成了及其大的隐患。如果有一套系统，可以实时接入车辆摄像头，摄像头对准司机，当检测到司机疲劳状态的时候，则提醒后台并且语音提醒，以做出正确决策，避免车祸等悲剧的发生。该系统也可以应用于上课学生专注度分析，进行疲劳预警。

二、设计框图

在这里插入图片描述

三、准备工作

开发环境：windows 10,matlab R2018b
制图软件：visio 2013
素材示意：人脸图像/视频

四、任务流程

４.１视频预处理

首先将彩色视频video.avi读入，将图像分帧。

obj = VideoReader(uigetfile('*.avi','选择视频'));%输入视频位置
setappdata(0,'obj',obj);%设置全局变量
Show_Frames=read(obj,1);%显示第一帧作为封面
axes(handles.axes1);
imshow(Show_Frames);
set(handles.listbox1,'String','分帧开始...');prompt={'输入图片名是几位数:'};defans={'2'};%默认两位数p=inputdlg(prompt,'输入位数',1,defans);numzeros=str2num(p{1});nz = strcat('%0',num2str(numzeros),'d');numFrames = obj.NumberOfFrames;% 帧的总数
for k = 1 :5  % 读取前5帧  numFrames
frame = read(obj,k);%读取第几帧
id=sprintf(nz,k);
imwrite(frame,strcat('video_images/',id,'.jpg'),'jpg');% 保存帧
end
set(handles.listbox1,'String','分帧结束');

利用MATLAB函数rgb2gray转换成灰度图像。
去除视频黑边，定位有效图像区域。
将结果输出到指定路径images下。

function [Irect, rect] = GetValideImage(Img, flag)
% 获取有效图像区域
if nargin < 2flag = 1;
end% 灰度化
if ndims(Img) == 3I = rgb2gray(Img);
elseI = Img;
end
% 去除视频黑边，定位有效图像区域
tol = 1000;
sz = size(I);
cs = sum(I, 1);
c = find(cs > tol);
cmin = min(c);
cmax = max(c);
rect = [cmin 1 cmax-cmin sz(1)];
% 图像切割，获取有效区域图像
Irect = imcrop(Img, rect);
% 显示中间处理过程图像
if flagfigure;subplot(2, 2, 1); imshow(Img, []); title('原图像');subplot(2, 2, 2); imshow(I, []); title('灰度图像');subplot(2, 2, 3); imshow(Img, []); title('有效区域图像标记');hold on;rectangle('Position', rect, 'EdgeColor', 'r', 'LineWidth', 2);hold off;subplot(2, 2, 4); imshow(Irect, []); title('有效区域图像');
end

4.2图片分割

4.2.1 人脸定位

读入images路径下所有jpg图像。
利用MATLAB函数rgb2hsv将RGB颜色转换为HSV。

% 颜色空间转换
hsv = rgb2hsv(Img);
h = hsv(:, :, 1);
s = hsv(:, :, 2);
v = hsv(:, :, 3);
% 区域数据范围
hsp = [0.01 0.5];
ssp = [0.1 0.85];
vsp = [0.25 0.85];
sz = size(h);

根据HSV对肤色定位，提取人脸区域。

% 初始化模板
mask = zeros(sz);
% 肤色定位
for i = 1 : sz(1)for j = 1 : sz(2)if h(i, j) > hsp(1) && h(i, j) < hsp(2) && ...s(i, j) > ssp(1) && s(i, j) < ssp(2) && ...v(i, j) > vsp(1) && v(i, j) < vsp(2)mask(i, j) = 1;endend
end
% 形态学处理
mask = logical(mask);
mask = imclose(mask, strel('disk', 15));
mask = imopen(mask, strel('disk', 15));
mask = imfill(mask, 'holes');
% 提取人脸区域
[L, num] = bwlabel(mask);
stats = regionprops(L);
Ar = cat(1, stats.Area);
[Ar, ind] = sort(Ar, 'descend');
bw = mask;
bw(L ~= ind(1)) = 0;

4.2.2人眼定位

先对图像预处理，利用MATLAB函数rgb2gray转换成灰度图像。利用函数medfilt2对图像中值滤波，利用灰度积分find进行投影。

% 灰度化
if ndims(Img) == 3I = rgb2gray(Img);
elseI = Img;
end
% 中值滤波
I = medfilt2(I, [5 5]);
% 灰度积分投影
sz = size(I);
[r, c] = find(I > 0);
rmin = min(r);
rmax = max(r);
cs = sum(I, 1);
rs = sum(I, 2);
[maxcs, indmaxcs] = max(cs);
[maxrs, indmaxrs] = max(rs);

对人眼区域定位。

% 人眼区域定位
cstart = max(sz(2)-indmaxcs-35, 8);
csend = min(indmaxcs + 15, sz(2)-20);
rstart = max(indmaxrs-40, 25);
rsend = indmaxrs;
rect = [cstart rstart csend-cstart rsend-rstart];

裁掉多余的区域。

% 人眼区域裁剪
Im = imcrop(Img, rect);
if flagfigure;subplot(2, 2, 1); imshow(Img, []); title('原图像');subplot(2, 2, 2); imshow(I, []); hold on;rectangle('Position', rect, 'EdgeColor', 'r');hold off;title('灰度图像');subplot(2, 2, 3); plot(1:sz(2), cs);  title('列投影曲线');subplot(2, 2, 4); plot(rs, 1:sz(1)); title('行投影曲线');
end

4.2.3人眼精确定位

图像预处理，利用MATLAB函数rgb2gray对图像进行灰度化。利用函数graythresh进行二值化。提取图像边缘。

% 获取精确人眼区域
if nargin < 2flag = 1;
end% 灰度化
if ndims(Img) == 3I = rgb2gray(Img);
elseI = Img;
end
% 二值化
th = max(graythresh(I)*0.4, 0.1);
bw = im2bw(I, th);
% 提取边缘
bwe = edge(bw, 'canny');
% 填孔处理
bwd = imfill(bwe, 'holes');
bwf = bwd;
bwf = imdilate(bwf, strel('square', 3));
bwf = imfill(bwf, 'holes');
% 去掉边缘噪声
[L, num] = bwlabel(bwf);
stats = regionprops(L);
Ar = cat(1, stats.Area);
[Ar, ind] = sort(Ar, 'descend');
if num > 2for j = 3 : numbwf(L == ind(j)) = 0;end
end

提取定位结果。

% 提取定位结果
rect1 = stats(ind(1)).BoundingBox;
rect2 = stats(ind(2)).BoundingBox;
rect1(2) = rect1(2) - 2;
rect2(2) = rect2(2) - 2;
rect{1} = rect1;
rect{2} = rect2;

4.3疲劳检测

利用PERCLOS算法，计算人眼在单位时间内闭合所占比。

data = cat(1, Nv.nv);
Nmin = min(data);
Nmax = max(data);
rate = (data-Nmin)./(Nmax-Nmin);
set(handles.listbox3,'string',rate)
pause(5) %%%%每间隔2s时间处理下一帧图像

输出结果, 计算的perclos值与tol做比较判断是否疲劳

tol = 0.4;  %%%归一化判断标准
status = '正常';
for i = 1 : Nif rate(i) < tol && isequal(status, '正常')status = '疲劳';start = i;endif rate(i) < tol && isequal(status, '疲劳') && i - start > 1status = '睡着';start = i;endif rate(i) < tol && isequal(status, '睡着') && i - start > 2status = '疲劳';start = i;endif rate(i) > tolstatus = '正常';endNv(i).status = status;end