外贸网站如何做推广怎么样,深圳做网站佰达科技二十七,小程序免费制作平台360,重庆市住房和城乡建设厅官网文章目录 1 前言2 相关技术2.1CNN简介2.2 人脸识别算法2.3专注检测原理2.4 OpenCV 3 功能介绍3.1人脸录入功能3.2 人脸识别3.3 人脸专注度检测3.4 识别记录 4 最后 1 前言
#x1f525; 优质竞赛项目系列#xff0c;今天要分享的是
#x1f6a9; 基于深度学习的人脸专注度… 文章目录 1 前言2 相关技术2.1CNN简介2.2 人脸识别算法2.3专注检测原理2.4 OpenCV 3 功能介绍3.1人脸录入功能3.2 人脸识别3.3 人脸专注度检测3.4 识别记录 4 最后 1 前言 优质竞赛项目系列今天要分享的是 基于深度学习的人脸专注度检测计算算法
该项目较为新颖适合作为竞赛课题方向学长非常推荐
学长这里给一个题目综合评分(每项满分5分)
难度系数3分工作量3分创新点5分 更多资料, 项目分享
https://gitee.com/dancheng-senior/postgraduate
2 相关技术
2.1CNN简介
卷积神经网络(CNN)是由多层卷积结构组成的一种神经网络。卷积结构可以减少网络的内存占用、参数和模型的过拟合。卷积神经网络是一种典型的深度学习算法。广泛应用于视觉处理和人工智能领域特别是在图像识别和人脸识别领域。与完全连接的神经网络相比CNN输入是通过交换参数和局部感知来提取图像特征的图像。卷积神经网络是由输入层、卷积层、池化层、全连接层和输出层五层结构组成。其具体模型如下图所示。
(1)输入层(Input layer)输入层就是神经网络的输入端口就是把输入传入的入口。通常传入的图像的RGB三个通道的数据。数据的输入一般是多维的矩阵向量其中矩阵中的数值代表的是图像对应位置的像素点的值。
(2)卷积层(Convolution layer)卷积层在CNN中主要具有学习功能它主要提取输入的数据的特征值。
(3)池化层(Pooling layer)池化层通过对卷积层的特征值进行压缩来获得自己的特征值减小特征值的矩阵的维度减小网络计算量加速收敛速度可以有效避免过拟合问题。
(4)全连接层(Full connected layer)全连接层主要实现是把经过卷积层和池化层处理的数据进行集合在一起形成一个或者多个的全连接层该层在CNN的功能主要是实现高阶推理计算。
(5)输出层(Output layer)输出层在全连接层之后是整个神经网络的输出端口即把处理分析后的数据进行输出。
2.2 人脸识别算法
利用dlib实现人脸68个关键点检测并标注关键代码
import cv2# 加载人脸识别模型face_rec_model_path dlib_face_recognition_resnet_model_v1.datfacerec dlib.face_recognition_model_v1(face_rec_model_path)# 加载特征点识别模型predictor_path shape_predictor_5_face_landmarks.datpredictor dlib.shape_predictor(predictor_path)# 读取图片img_path step1/image/face.jpgimg cv2.imread(img_path)# 转换为灰阶图片gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)# 正向人脸检测器将图像detector dlib.get_frontal_face_detector()# 使用人脸识别模型来检测图像中的人脸faces detector(gray, 1)# 使用特征点识别模型来检测人脸中的特征for i, face in enumerate(faces):# 获取人脸特征点shape predictor(img, face)
2.3专注检测原理
总体流程
主要通过电脑摄像头去实时的抓拍学生当前的状态和行为不间断的采集学生上课时的面部表情和眼睛注视的方向利用CNN提取相应的特征数据并进行分析处理若对应输出的判断值大于设置的阈值时则认为学生在走神没有认真学习。并且对拍摄时间进行计时在界面上实时输出该学生在课堂上的有效学习时间和学生在课堂上专注时间的比例并进行存入表格中。 眼睛检测算法
基于dlib人脸识别68特征点检测、分别获取左右眼面部标志的索引通过opencv对视频流进行灰度化处理检测出人眼的位置信息。人脸特征点检测用到了dlibdlib有两个关键函数dlib.get_frontal_face_detector()和dlib.shape_predictor(predictor_path)。
前者是内置的人脸检测算法使用HOG pyramid检测人脸区域的界限bounds。 后者是用来检测一个区域内的特征点并输出这些特征点的坐标它需要一个预先训练好的模型通过文件路径的方法传入才能正常工作。 使用开源模型shape_predictor_68_face_landmarks.dat可以得到68个特征点位置的坐标连起来后可以有如图所示的效果红色是HOG pyramid检测的结果绿色是shape_predictor的结果仅把同一个器官的特征点连线。 通过计算眼睛的宽高比来确定专注状态
基本原理计算 眼睛长宽比 Eye Aspect RatioEAR.当人眼睁开时EAR在某个值上下波动当人眼闭合时
关键代码
# -*- coding: utf-8 -*-# import the necessary packagesfrom scipy.spatial import distance as distfrom imutils.video import FileVideoStreamfrom imutils.video import VideoStreamfrom imutils import face_utilsimport numpy as np # 数据处理的库 numpyimport argparseimport imutilsimport timeimport dlibimport cv2def eye_aspect_ratio(eye):# 垂直眼标志XY坐标A dist.euclidean(eye[1], eye[5])# 计算两个集合之间的欧式距离B dist.euclidean(eye[2], eye[4])# 计算水平之间的欧几里得距离# 水平眼标志XY坐标C dist.euclidean(eye[0], eye[3])# 眼睛长宽比的计算ear (A B) / (2.0 * C)# 返回眼睛的长宽比return ear# 定义两个常数# 眼睛长宽比# 闪烁阈值EYE_AR_THRESH 0.2EYE_AR_CONSEC_FRAMES 3# 初始化帧计数器和眨眼总数COUNTER 0TOTAL 0# 初始化DLIB的人脸检测器HOG然后创建面部标志物预测print([INFO] loading facial landmark predictor...)# 第一步使用dlib.get_frontal_face_detector() 获得脸部位置检测器detector dlib.get_frontal_face_detector()# 第二步使用dlib.shape_predictor获得脸部特征位置检测器predictor dlib.shape_predictor(D:/myworkspace/JupyterNotebook/fatigue_detecting/model/shape_predictor_68_face_landmarks.dat)# 第三步分别获取左右眼面部标志的索引(lStart, lEnd) face_utils.FACIAL_LANDMARKS_IDXS[left_eye](rStart, rEnd) face_utils.FACIAL_LANDMARKS_IDXS[right_eye]# 第四步打开cv2 本地摄像头cap cv2.VideoCapture(0)# 从视频流循环帧while True:# 第五步进行循环读取图片并对图片做维度扩大并进灰度化ret, frame cap.read()frame imutils.resize(frame, width720)gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)# 第六步使用detector(gray, 0) 进行脸部位置检测rects detector(gray, 0)# 第七步循环脸部位置信息使用predictor(gray, rect)获得脸部特征位置的信息for rect in rects:shape predictor(gray, rect)# 第八步将脸部特征信息转换为数组array的格式shape face_utils.shape_to_np(shape)# 第九步提取左眼和右眼坐标leftEye shape[lStart:lEnd]rightEye shape[rStart:rEnd]# 第十步构造函数计算左右眼的EAR值使用平均值作为最终的EARleftEAR eye_aspect_ratio(leftEye)rightEAR eye_aspect_ratio(rightEye)ear (leftEAR rightEAR) / 2.0# 第十一步使用cv2.convexHull获得凸包位置使用drawContours画出轮廓位置进行画图操作leftEyeHull cv2.convexHull(leftEye)rightEyeHull cv2.convexHull(rightEye)cv2.drawContours(frame, [leftEyeHull], -1, (0, 255, 0), 1)cv2.drawContours(frame, [rightEyeHull], -1, (0, 255, 0), 1)# 第十二步进行画图操作用矩形框标注人脸left rect.left()top rect.top()right rect.right()bottom rect.bottom()cv2.rectangle(frame, (left, top), (right, bottom), (0, 255, 0), 3) 分别计算左眼和右眼的评分求平均作为最终的评分如果小于阈值则加1如果连续3次都小于阈值则表示进行了一次眨眼活动# 第十三步循环满足条件的眨眼次数1if ear EYE_AR_THRESH:# 眼睛长宽比0.2COUNTER 1else:# 如果连续3次都小于阈值则表示进行了一次眨眼活动if COUNTER EYE_AR_CONSEC_FRAMES:# 阈值3TOTAL 1# 重置眼帧计数器COUNTER 0# 第十四步进行画图操作68个特征点标识for (x, y) in shape:cv2.circle(frame, (x, y), 1, (0, 0, 255), -1)# 第十五步进行画图操作同时使用cv2.putText将眨眼次数进行显示cv2.putText(frame, Faces: {}.format(len(rects)), (10, 30),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)cv2.putText(frame, Blinks: {}.format(TOTAL), (150, 30),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)cv2.putText(frame, COUNTER: {}.format(COUNTER), (300, 30),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2) cv2.putText(frame, EAR: {:.2f}.format(ear), (450, 30),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)print(眼睛实时长宽比:{:.2f} .format(ear))if TOTAL 50:cv2.putText(frame, SLEEP!!!, (200, 200),cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 0, 255), 2)cv2.putText(frame, Press q: Quit, (20, 500),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (84, 255, 159), 2)# 窗口显示 show with opencvcv2.imshow(Frame, frame)# if the q key was pressed, break from the loopif cv2.waitKey(1) 0xFF ord(q):break# 释放摄像头 release cameracap.release()# do a bit of cleanupcv2.destroyAllWindows()
2.4 OpenCV
OpenCV是计算机视觉中一个经典的数据库。支持多语言、跨平台、功能强大。其提供了一个Python接口用户可以在保证可读性和操作效率的前提下用Python调用C/C实现所需的功能。OpenCV是一个基于BSD许可证的跨平台计算机视觉库可以在Linux、windows和Mac OS操作系统上运行。它由一系列C函数和少量C类组成。同时它还提供了与Python、ruby、MATLAB等语言的接口实现了图像处理和计算机视觉中的许多通用算法。
本项目中OpenCV主要是在图片的采集的图片的预处理方面使用通过操作界面中的按钮选项选择是否打开摄像头使用OpenCV来调用电脑摄像头来检测录像过程中的聚焦和人脸镜头的矫正等状态然后在摄像头的录像的视频流中抓取对应的人脸照片然后调用内部的函数对照片的尺寸和光线等进行矫正处理后传给神经网络进行特征值提取。
3 功能介绍
3.1人脸录入功能
数据库数据录入
将采集到的人脸信息和姓名、学号录入到数据库中数据库表如下图所示 过程演示 3.2 人脸识别 3.3 人脸专注度检测
拍摄时间进行计时在界面上实时输出该学生在课堂上的有效学习时间和学生在课堂上专注时间的比例
3.4 识别记录 4 最后 更多资料, 项目分享
https://gitee.com/dancheng-senior/postgraduate
