网站制作培训机构,又顺又旺的公司名字大全,素材网站视频,视频网站如何做营销策划近年来#xff0c;随着行为检测技术的发展#xff0c;分析学生在课堂视频中的行为#xff0c;以获取他们的课堂状态和学习表现信息已经成为可能。这项技术对学校的教师、管理人员、学生和家长都非常重要。使用深度学习方法自动检测学生的课堂行为是分析学生课堂表现和提高教…近年来随着行为检测技术的发展分析学生在课堂视频中的行为以获取他们的课堂状态和学习表现信息已经成为可能。这项技术对学校的教师、管理人员、学生和家长都非常重要。使用深度学习方法自动检测学生的课堂行为是分析学生课堂表现和提高教学效果的一种很有前途的方法。在传统的教学模式中教师很难及时有效地关注每个学生的学习情况只能通过观察少数学生来了解自己教学方法的有效性。加之课堂时间有效提问式的交互方式难以覆盖到所有人群传统的应试教育模式通过考试来检查学生知识掌握的程度往往具有滞后性和低效性。除此之外学生家长只有通过与老师和学生的交流才能了解孩子的学习情况。而这些反馈相对具有主观性学习本身是一个需要自发性主动性去参与的过程但是在青春的年纪很多学习之外的诱惑或者是注意力不集中等因素会导致学生在课堂的参与度不高如何通过教学过程中的及时反馈响应来聚焦课堂注意力提高教学效率成为了最核心的问题我们不是教育专家我们只是喜欢探讨如何将技术与现实生活场景相结合本文的核心思想就是想要探索利用目标检测模型来检测分析学生的行为分析他们的学习状态和表现对于出现的异常行为进行响应或者是记录为教育教学提供更全面、准确的反馈通过对课堂行为数据的分析进而有效地纠正低效的课堂行为从而提高学习成绩。
本文主要是选择最新的YOLOv7来开发实现检测模型我们开发了tiny、l和x三款不同参数量级的模型用于整体对比分析首先看下实例效果 简单看下实例数据情况 在前文中我们已经进行了相关的项目开发实践感兴趣的话可以自行移步阅读
《助力打造智慧数字课堂基于YOLOv5全系列【n/s/m/l/x】不同参数量级模型开发构建教学课堂场景下学生课堂行为检测识别分析系统》
《助力打造智慧数字课堂基于YOLOv8全系列【n/s/m/l/x】不同参数量级模型开发构建教学课堂场景下学生课堂行为检测识别分析系统》
《助力打造智慧数字课堂基于YOLOv6开发构建教学课堂场景下学生课堂行为检测识别分析系统》
YOLOv7是 YOLO 系列最新推出的YOLO 结构在 5 帧/秒到 160 帧/秒范围内其速度和精度都超过了大部分已知的目标检测器在 GPU V100 已知的 30 帧/秒以上的实时目标检测器中YOLOv7 的准确率最高。根据代码运行环境的不同(边缘 GPU、普通 GPU 和云 GPU)YOLOv7 设置了三种基本模型分别称为 YOLOv7-tiny、YOLOv7和 YOLOv7-W6。相比于 YOLO 系列其他网络 模 型 YOLOv7 的 检 测 思 路 与YOLOv4、YOLOv5相似YOLOv7 网络主要包含了 Input(输入)、Backbone(骨干网络)、Neck(颈部)、Head(头部)这四个部分。首先图片经过输入部分数据增强等一系列操作进行预处理后被送入主干网主干网部分对处理后的图片提取特征随后提取到的特征经过 Neck 模块特征融合处理得到大、中、小三种尺寸的特征最终融合后的特征被送入检测头经过检测之后输出得到结果。 YOLOv7 网络模型的主干网部分主要由卷积、E-ELAN 模块、MPConv 模块以及SPPCSPC 模块构建而成 。在 Neck 模块YOLOv7 与 YOLOv5 网络相同也采用了传统的 PAFPN 结构。FPN是YoloV7的加强特征提取网络在主干部分获得的三个有效特征层会在这一部分进行特征融合特征融合的目的是结合不同尺度的特征信息。在FPN部分已经获得的有效特征层被用于继续提取特征。在YoloV7里依然使用到了Panet的结构我们不仅会对特征进行上采样实现特征融合还会对特征再次进行下采样实现特征融合。Head检测头部分YOLOv7 选用了表示大、中、小三种目标尺寸的 IDetect 检测头RepConv模块在训练和推理时结构具有一定的区别。
这里主要是选择了yolov7-tiny、yolov7和yolov7x这三款不同参数量级的模型来进行开发训练训练数据配置文件如下
# txt path
train: ./dataset/images/train
val: ./dataset/images/test
test: ./dataset/images/test# number of classes
nc: 6# class names
names: [handRaising, reading, writing, usingPhone, bowingHead, learningOverTable]
在实验阶段保持完全相同的参数设置等待全部训练完成之后来从多个指标的维度来进行综合的对比分析。
【Precision曲线】 精确率曲线Precision-Recall Curve是一种用于评估二分类模型在不同阈值下的精确率性能的可视化工具。它通过绘制不同阈值下的精确率和召回率之间的关系图来帮助我们了解模型在不同阈值下的表现。 精确率Precision是指被正确预测为正例的样本数占所有预测为正例的样本数的比例。召回率Recall是指被正确预测为正例的样本数占所有实际为正例的样本数的比例。 绘制精确率曲线的步骤如下 使用不同的阈值将预测概率转换为二进制类别标签。通常当预测概率大于阈值时样本被分类为正例否则分类为负例。 对于每个阈值计算相应的精确率和召回率。 将每个阈值下的精确率和召回率绘制在同一个图表上形成精确率曲线。 根据精确率曲线的形状和变化趋势可以选择适当的阈值以达到所需的性能要求。 通过观察精确率曲线我们可以根据需求确定最佳的阈值以平衡精确率和召回率。较高的精确率意味着较少的误报而较高的召回率则表示较少的漏报。根据具体的业务需求和成本权衡可以在曲线上选择合适的操作点或阈值。 精确率曲线通常与召回率曲线Recall Curve一起使用以提供更全面的分类器性能分析并帮助评估和比较不同模型的性能。 【Recall曲线】 召回率曲线Recall Curve是一种用于评估二分类模型在不同阈值下的召回率性能的可视化工具。它通过绘制不同阈值下的召回率和对应的精确率之间的关系图来帮助我们了解模型在不同阈值下的表现。 召回率Recall是指被正确预测为正例的样本数占所有实际为正例的样本数的比例。召回率也被称为灵敏度Sensitivity或真正例率True Positive Rate。 绘制召回率曲线的步骤如下 使用不同的阈值将预测概率转换为二进制类别标签。通常当预测概率大于阈值时样本被分类为正例否则分类为负例。 对于每个阈值计算相应的召回率和对应的精确率。 将每个阈值下的召回率和精确率绘制在同一个图表上形成召回率曲线。 根据召回率曲线的形状和变化趋势可以选择适当的阈值以达到所需的性能要求。 通过观察召回率曲线我们可以根据需求确定最佳的阈值以平衡召回率和精确率。较高的召回率表示较少的漏报而较高的精确率意味着较少的误报。根据具体的业务需求和成本权衡可以在曲线上选择合适的操作点或阈值。 召回率曲线通常与精确率曲线Precision Curve一起使用以提供更全面的分类器性能分析并帮助评估和比较不同模型的性能。 【F1值曲线】 F1值曲线是一种用于评估二分类模型在不同阈值下的性能的可视化工具。它通过绘制不同阈值下的精确率Precision、召回率Recall和F1分数的关系图来帮助我们理解模型的整体性能。 F1分数是精确率和召回率的调和平均值它综合考虑了两者的性能指标。F1值曲线可以帮助我们确定在不同精确率和召回率之间找到一个平衡点以选择最佳的阈值。 绘制F1值曲线的步骤如下 使用不同的阈值将预测概率转换为二进制类别标签。通常当预测概率大于阈值时样本被分类为正例否则分类为负例。 对于每个阈值计算相应的精确率、召回率和F1分数。 将每个阈值下的精确率、召回率和F1分数绘制在同一个图表上形成F1值曲线。 根据F1值曲线的形状和变化趋势可以选择适当的阈值以达到所需的性能要求。 F1值曲线通常与接收者操作特征曲线ROC曲线一起使用以帮助评估和比较不同模型的性能。它们提供了更全面的分类器性能分析可以根据具体应用场景来选择合适的模型和阈值设置。 【loss曲线】 对比来看tiny轻量级的模型并被yolov7l和yolov7x拉开了明显的差距而l和x两款模型则没有呈现明显的差距保持相近的结果水平考虑到l具备更小的参数体量这里我们线上yolov7系列最终选定的是l系列的模型。
接下来以l系列模型为基准看下详细的结果信息
【混淆矩阵】 【训练可视化】 【PR曲线】 【Batch实例】 感兴趣的话都可以自行动手尝试下
