基于深度学习的学生课堂行为识别

基于深度学习的学生课堂行为识别*

魏艳涛 秦道影 胡佳敏 姚 璜

[通讯作者]

师亚飞

（华中师范大学 教育信息技术学院，湖北武汉 430079）

摘要：随着教育步入智能时代，智能化的学生课堂行为识别变得越来越重要。但由于学生的课堂行为复杂多变，使得智能化的学生课堂行为识别存在困难。为了提高智能化学生行为识别的精度，文章首先采集了300名学生的7种典型课堂行为图像，并进行了数据预处理。随后，文章将已在ImageNet数据集上训练好的经典深度网络模型——VGG16网络模型迁移到学生课堂行为识别任务中。最后，通过与其它深度学习模型进行实验对比，文章验证了VGG16网络模型对学生课堂行为具有较高的识别精度。上述研究表明，基于深度学习的学生课堂行为识别能及时、精准地反馈学生的课堂学习情况，有利于教师改进教学方法、优化课堂教学与管理，从而提高教与学的效率，助力教学改革。

关键词：学生课堂行为；行为识别；深度学习；VGG16网络模型

【中图分类号】G40-057 【文献标识码】A 【论文编号】1009—8097（2019）07—0087—05 【DOI】10.3969/j.issn.1009-8097.2019.07.013

近年来，以深度学习为代表的人工智能技术已渗入人们生活的方方面面，并已进入大范围应用阶段。2017年，在印发的《新一代人工智能发展规划》中提出：“利用智能技术加快推动人才培养模式、教学方法改革，构建包含智能学习、交互式学习的新型教育体系”[1]。长期以来，课堂教学活动一直是教育研究的重点。在课堂教学活动中，学生作为学习活动的主体，其行为状态是教学活动的直接体现。因此，学生课堂行为分析既是教学分析的重要环节，也是影响学生学习和教师教学效率的重要因素[2][3]。当前，教育已经步入智能时代[4]，对学生课堂行为分析提出了更高的要求，实现智能化的学生课堂行为识别变得越来重要[5][6]。在此背景下，一些发达国家的高校纷纷建立了相对完善的课堂监控与分析系统，以对课堂教学活动进行深入研究[7]。然而，学生的课堂行为复杂多变，使智能化的学生课堂行为识别存在困难。基于上述分析，本研究拟结合相关研究成果[8][9]，对基于深度学习的学生课堂行为识别进行探讨，以期提高智能化学生课堂行为识别的精度，助力教学改革。

一 数据采集与预处理

1 数据采集

基于课堂非言语行为分析的需要和相关专家的访谈结果，本研究主要针对7种典型的学生课堂行为进行识别，分别为：听课、左顾右盼、举手、睡觉、站立、看书和书写。这些行为不仅反映了学生的基本状态，而且是构成复杂学习活动的基础。对这些典型行为进行识别，可为后续的自动教学分析提供数据支撑。

本研究选取湖北省广水市H小学四、五年级和河南省新乡市S中学高二年级共300名学生为研究对象，对每个学生分别进行图像采集，且每个学生的每种行为仅采集1张图像，共采集了2100幅图像。其中，Z同学的7种典型课堂行为图像如图1所示。值得一提的是，由于受学生的性别、着装、体态、教室环境等不同因素的影响，学生课堂行为的识别工作困难重重。

87

Vol.29 No.7 2019

（a）听课

（b）左顾右盼

（c）举手

（d）睡觉

（e）站立

（f）看书

图1 Z同学的7种典型课堂行为图像

（g）书写

2 数据预处理

为了极大地满足学生课堂行为识别的需要，本研究对采集的图像进行了以下预处理操作：①在保持比例不变的情况下，将尺寸不一的图像统一缩放成300×300（空白部分补零）的图像；②以中心点为基准，缩放后的图像统一裁剪为224×224的图像；③图像去均值。

在深度网络模型训练过程中，往往需要大量的训练样本作为研究的数据支撑，但目前学生课堂行为识别数据的规模并不大。为了缓解目前训练样本不足所导致的困难，本研究对训练图像进行了数据增强，以增加训练样本数目。具体来说，本研究主要采用了以下11种数据增强方法：①图像向左旋转20度；②图像向右旋转20度；③添加高斯噪声；④设定矩形框内的灰度值设为0；⑤随机设置部分的像素值设为0；⑥中值模糊；⑦均值模糊；⑧高斯模糊；⑨每张图像每隔两行的像素点设为0，关键点保留；⑩向左平移20个像素点；⑪向上平移20个像素点。

二 基于深度学习的学生课堂行为识别

1 深度学习

近年来，深度学习迅猛发展，在语音识别、图像分类、文本理解等方面取得重大突破，特别是在图像识别方面的成绩尤为突出。在图像识别方面，卷积神经网络最为流行。其中，视觉几何组网络（Visual Geometry Group Neural Network，VGGNet）是由牛津大学计算机视觉组开发的一种具有代表性的卷积神经网络，其结构简洁且易于实现，在实际应用中表现出了良好的性能，已得到了广泛应用[10]。基于此，本研究拟采用VGG16网络模型（包含16个隐藏层的VGGNet，是VGGNet的经典版本之一），来探讨学生课堂行为识别问题。

VGG16网络模型在整个学习过程中始终使用3×3的滤波器，接受固定尺寸为224×224×3的图像作为输入，其应用流程如下：首先，分别通过、128、256、512、512个卷积核组成的5组卷积模块逐步提取特征；随后，将特征输入到2个由4096个神经元组成的全连接层和1个由1000个神经元组成的全连接层；最后，由Softmax输出结果。由于本研究中待识别的学生课堂行为有7种，故在本研究中VGG16网络模型的输出层包含7个结点。相较于传统的卷积神经

88

Vol.29 No.7 2019 网络，VGG16网络模型的层数更多，特征学习能力明显增强。VGG16网络模型的显著特点是使用尺寸较小的卷积滤波器，这样有助于更加细致地提取局部特征，减少参数个数，提高学生课堂行为识别精度。

2 迁移学习

在实际的学生课堂行为识别过程中，由于获取海量的训练样本十分困难，故通过随机初始值的方式训练深度网络模型难以实现，而利用迁移学习的方式，将从相似领域训练得到的模型参数作为初始值，进一步训练深度网络模型就变得很有必要了。迁移学习的优势是可以把已训练好的模型参数通过某种方式共享给新应用，从而加快并优化深度网络模型的学习效率。基于此，本研究利用迁移学习的方式，设计了一种基于深度学习的学生课堂行为识别方法：首先，获取在大规模数据集上训练得到的预训练模型；然后，利用自建的学生课堂行为数据库进行模型精调，使得到的深度网络模型在该应用场景下表现出良好的性能。具体地说，本研究首先利用在大规模数据集ImageNet上训练得到的VGG16网络模型作为预训练模型，然后利用采集得到的学生行为图像数据对模型进行精调。

3 基于深度学习的学生课堂行为识别 综上所述，本研究将在大规模数据集ImageNet上已训练好的经典深度网络模型——VGG16网络模型迁移到学生课堂行为识别中，设计了基于深度学习的学生课堂行为识别方法。基于深度学习的学生课堂行为识别流程如图2所示，具体包括：①数据采集，即采集研究对象的7种典型课堂行为；②数据预处理，包括图像裁剪和图像数据增强；③将加载在大规模数据集ImageNet上得到的VGG16网络模型作为预训练模型，并精调VGG16网络模型，即利用训练集和验证集进一步优化网络模型参数，获得新的适应于学生课堂行为识别的新模型；④将测试样本输入到训练好的VGG16网络模型中，输出识别结果，即将每一幅测试图像识别为7种典型学习行为中的某一种。

图2 基于深度学习的学生课堂行为识别流程

图3 不同深度网络模型的课堂行为识别精度对比

三 实验与结果分析

1 实验配置与步骤 （1）实验环境 ①硬件环境方面，本实验的主要设备配置包括：GTX1060（GPU），8G显存，I5-7600（CPU），

Vol.29 No.7 2019 16G内存；②软件环境方面，本实验所用的编程语言为Python，使用了Pytorch框架。

（2）实验步骤

①采集学生的7种典型课堂行为图像；②为了满足深度网络模型的训练需要，对采集的图像进行预处理，包括裁剪和增强两种操作；③加载Pytorch框架中在大规模数据集ImageNet上训练得到的VGG16网络模型作为预训练模型；④将训练集和验证集输入预训练模型中进行网络模型精调，使用随机梯度下降算法计算损失值；⑤将测试数据输入训练好的VGG16网络模型，评估算法性能。

2 实验结果及分析

为了减少因训练集随机选取所导致的精度偏差，本研究统计了10次随机实验的平均精度。为了进一步验证研究方案的有效性，本研究对比了VGG16、ResNet18、ResNet50和AlexNet等四种深度网络模型（如表1所示）的课堂行为识别精度，可以看出：①随着训练集分配比例的不断增大，不同深度网络模型的识别精度也随之提升；②在同等实验条件下，相较于其它三种深度网络模型，通过迁移学习的方式训练得到的VGG16网络模型的识别精度最高——在训练样本比较充分的情况下，VGG16网络模型的课堂行为识别率可高达93.33%。

表1 不同深度网络模型的数据集分配比例及其结果对比

数据集分配比例 深度网络模型 VGG16 ResNet18 ResNet50 AlexNet 训练集:验证集:测试集 2:2:6 86.67% 79.20% 82.78% 82.94% 4:2:4 91.90% 84.88% 86.78% .40% 6:2:2 93.33% 86.67% 91.43% 92.86% 不同深度网络模型的课堂行为识别精度对比如图3所示。图3显示，VGG16、ResNet18、ResNet50、AlexNet四种深度网络模型对左顾右盼行为的识别率都较低。究其原因，可能在于本实验仅仅采用单帧静态的图像进行课堂行为识别，而左顾右盼行为更适合根据课堂视频中的动态行为表现进行识别。基于此，后续工作将利用相关的课堂视频数据，以更准确地识别学生的课堂行为。

四 小结

利用计算机视觉领域的行为识别方法识别学生的课堂行为，可实时反馈学生的课堂学习情况，并作为教师改进教学方法、优化课堂教学与管理的依据，故有助于提高教学效率。基于此，本研究尝试将智能行为识别技术应用于课堂行为识别，并主要针对7种典型课堂行为进行识别。本研究通过迁移学习的方式，训练得到了适合学生课堂行为识别的深度学习模型——VGG16网络模型，之后通过与ResNet18、ResNet50和AlexNet这三种深度网络模型对比课堂行为识别精度，发现：VGG16网络模型的识别精度最高，更适合用于学生课堂行为识别；这四种深度网络模型对左顾右盼行为的识别率都较低，故后续工作宜加入相关的课堂视频数据。此外，现有研究表明，多模态的行为识别方法将会提供更加准确的结果。因此，融合语音、表情等多模态数据的学生课堂行为识别将是未来的一个重要研究方向。

90

Vol.29 No.7 2019 ———————— 参考文献

[1].新一代人工智能发展规划[OL]. [2]王琦.基于卷积神经网络的学生疲劳状态检测关键技术研究与实现[D].武汉:华中师范大学,2016:1-6.

[3]高巍,刘瑞.基于教育大数据的学习行为分析研究——教师评学与导学的角度[J].教师教育论坛,2018,(7):38-42. [4]王亚飞,刘邦奇.智能教育应用研究概述[J].现代教育技术,2018,(1):5-11.

[5]周建国,唐东明,彭争,等.基于卷积神经网络的课堂表情分析软件研究与实现[J].成都信息工程大学学报,2017,(5):508-512.

[6]廖鹏,刘宸铭,苏航,等.基于深度学习的学生课堂异常行为检测与分析系统[J].电子世界,2018,(8):97-98. [7]李森林,彭小宁.基于深度神经网络CNN的学生听课状态应用研究[J].电脑与电信,2017,(10):35-37. [8]韩敏捷.基于深度学习的动作识别方法研究[D].南京:南京理工大学,2016:16-34.

[9]Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[OL].

The Recognition of Students’ Classroom Behaviors based on Deep Learning

WEI Yan-tao QIN Dao-ying HU Jia-min YAO Huang[Corresponding Author] SHI Ya-fei (School of Educational Information Technology, Central China Normal University, Wuhan, Hubei, China 430079) Abstract: As education enters the intelligence era, the recognition of intelligent students’ classroom behaviors becomes more and more important. However, it is difficult to recognize intelligent students’ classroom behaviors, due to the high complexity and variance of students’ classroom behaviors. In order to improve the accuracy of recognizing intelligent students’ behaviors, this paper firstly collected images of seven kinds of typical classroom behaviors from 300 students, and further carried out data preprocessing. Then, the VGG16 network model, a classic deep network model trained on the ImageNet dataset, was transferred into the recognition task of students’ classroom behaviors. Finally, VGG16 network model was verified to have higher recognition accuracy for students’ classroom behaviors compared with other deep learning models. The research showed that the recognition of students’ classroom behaviors based on deep learning could give feedback on students’ classroom learning situations timely and accurately, and help teachers improve teaching method and optimize classroom teaching and management, thus improving the efficiency of teaching and learning and facilitating teaching reform.

Keywords: students’ classroom behavior; action recognition; deep learning; VGG16 network model ————————

*基金项目：本文为国家自然科学基金项目“基于记忆的不变图像特征学习方法研究”（项目编号：61502195）、湖北省自然科学基金项目“基于I理论的深度学习方法研究”（项目编号：2018CFB691）、高校基本科研业务费项目“基于深度学习的学生课堂行为识别研究”（项目编号：CCNU19QN023）的阶段性研究成果。 作者简介：魏艳涛，副教授，博士，研究方向为教育信息科学与技术、人工智能及其教育应用，邮箱为yantaowei@mail.ccnu.edu.cn。 收稿日期：2018年11月23日

编辑：小米

91