打开文本图片集

摘要：随着时代环境的变化，线上教学逐渐成为趋势，已是教育教学中重要的环节，这对教育行业的发展有着跨时代的意义。但是在线上教学中，学习者学习状态未知、教学监测不到位、教学反馈不及时等问题亟待解决，因此，本研究基于人脸识别、脸-屏监测等技术，构建智慧型线上教学平台模型，助力线上教学开展精准教学评价，以期推进线上教学质量监测保障体系。

关键词：人脸识别技术；线上教学平台；质量监测

引言

2020年，我国在线教育市场规模达到4858亿元，全国在线课程学习学生达23亿人次。尽管当前，为了应对特殊情况下的教育需求增长，同时现有的线上教学平台在用户使用过程中暴露出的一系列问题也急需解决，如学生课堂行为无法监控量化，教师无法根据课堂情况实时调整教学计划，学生线上教学情绪不高，自律能力差异大，学习效率低下，信息安全管理不完善等。本研究针对已有线上教学平台无法很好地监测并引导大学生开展良好学习行为这一市场痛点和相关教学需求，以“助推高校线上教学质量监测系统化，提升师生线上教学质量，持续为中国和世界培养高级专门人才”为理念，基于智慧课堂的概念，以数字图像处理技术、视觉神经网络技术为支撑探索人脸智能识别技术在高校线上教学平台中的应用研究，以期改善线上教学效果，推进线上教学二次发展，促进多维新型人才培养。

1 线上教学现状

与传统的线下课堂教学相比，在线教学能够极大地扩大教学规模，降低教学成本，具有教学资源、教学对象及教学时空的广泛性，因此为大众的终身学习提供了可能。

2020年初对外环境的变化，客观上推进了线上教学发展。在国家教育部及各大高校的广泛重视下，MOOC、SPOC 等资源类平台以及腾讯会议和钉钉等直播平台在平台建设及课程建设等多个方面进行了大量相关的探索。在函授教学领域，在线课程已得到日益广泛的应用。但有相关研究调研了J省89所高职院校首次居家在线教学的情况，曾得出目前这些网络平台能满足基本需求，却体现出高质量的集成性与智能性不足。^[1]

虽然线上教学的发展能够在一定程度上缓解外部环境给高校教学带来的巨大影响，但现阶段针对线上教学质量监督的技术发展还未成熟，难以保证学生线上学习成效和教师线上教学质量。课题组通过前期调查发现，无论是中小学生还是大学生，在线上学习过程中都存在开小差、迟到、旷课等不良学习行为。如学生完成线上课堂签到后，开始利用设备的分屏功能进行其他娱乐活动，甚至有的学生为了达到不上课的目的，会利用视频录制软件，将自己曾经在线上上课的片段提前录制好，亦或利用镜头拍摄的死角让教师不能实时关注到学生听课状态。学生线上学习的质量下降必然会发展为其成绩的下降，导致中小学生不及格率增高，大学生挂科率提高，最终导致学校教育质量下降，直接影响全国义务教育以及高等教育人才培养目标的实现。因此，如何有效监督学生的不良学习行为，提高线上教学的质量，应该成为线上教育的核心问题。

2023年初，随着中国防疫政策逐步放开，各高校纷纷恢复线下教学活动。目前，仍有部分高校选择以线上授课的方式进行通识课、课外实践课程的教学与检验，以充分发挥线上线下结合教学的优势。以新疆大学管信学院2019级和2020级学生的期末成绩为例。2019级总人数为33人，平均分为75.96，最高分为98分；2020级总人数为37人，平均分为82.97，最高分为98分。通过这组数据，我们可以直观地发现，在班级人数相差不多的情况下，2020级的平均分比2019级的平均分多了7.01分。^[2]这说明，通过线上线下混合教学的方法，能够在一定程度上有效提高学生的整体水平。

由此看来，线上教育逐渐成为高校教学中不可分割的一部分，其发展也为未来我国应对因不可抗力带来的线上教育教学活动做好了充足的准备，因此，发展和提升线上教学质量仍然势在必行。

2 线上教学平台相关技术

基于当前线上教学现状，我们选择了下述相关技术，以期为线上教学质量监测提供建议。本研究的理论模型首先以卷积神经网络和深度学习知识为基础对人脸识别模型进行设计，其次通过Python和TensorFlow的框架来完成多个人脸识别业务，如人脸检测模型、人脸对比模型、人脸关键点定位模型、活体检测模型、人脸属性模型，接着使用OpenCV的接口识别人脸并处理人脸数据建立数据集，然后采用Flask来封装外部接口，通过外部接口与小程序进行数据交互和逻辑推理运算，最后对设立的模型开展训练，在完成训练后，运用该模型即可实现人脸识别。

项目具体涉及技术包括：人脸智能识别技术、脸-屏距离检测技术、敏感信息保密技术。

2.1 人脸智能识别技术

2.1.1 人脸身份识别

人脸识别是通过检测出场景中的人脸并和已有人脸数据进行比对，检测出是否在数据库中并进行身份的确认。人脸的身份识别主要包括三个部分：一是在复杂环境背景中检测人脸的位置；二是对人脸的关键点进行锁定提取；三是对人脸进行匹配识别身份。人脸识别的重要步骤就是提取人脸的特征，目前较为成熟的人脸特征提取算法通过对人脸特征点的标定能够准确定位人脸的关键位置，如眼睛、鼻子、嘴巴、眉毛等，根据人脸这些关键部位的相似程度即可判断人脸身份。本研究利用已训练好的 resnet-34 模型，提取出人脸图像的 128D 特征点，通过比对不同人脸图像的 128D特征点的距离，设定好一个参考值从而判断出两幅图片是否为同一人。

设计功能：建立模型后运用此模型进行人脸识别；摄像头识别实时录像中的人脸的关键点信息，对任意一帧截图进行人像的身份识别。

2.1.1.1建立模型

（1）选取需要的特征点。

（2）计算权重W：。

（3）进行配准。所谓的配准，就是以某个形状为基础，对它形状进行平移、旋转和伸缩等尺度变换使得它们与基形状尽可能接近，这些变换必须在不改变训练样本的整个刚体形状的前提下进行。

（4）进行主成分分析。

（5）提取相应的特征向量。

2.1.1.2打开摄像头比对人脸

我们首先需要在复杂的背景中定位人脸的位置，在此基础上再判断人脸关键点的位置。然后将图片通过拉伸、旋转等尺寸变换将人脸图像变化到合适的大小和位置，使待识别的人脸区域标准化，有利于接下来的实验匹配对比。然后再提取人脸的关键点，如眼睛、鼻子、嘴巴等部位的轮廓，确定关键点的位置是为了做人脸的平面校正。除此之外，系统再通过一些滤波的方法，进行人脸光学校正，即去除掉一部分对光照强度比较敏感的部位。预处理完成后，再从人脸关键区域提取各种特征，包括HOG、Gabor、LBP等。最后，相关的特征连接成一个特征向量，从而匹配出面部特征的相似程度，根据面部特征相似度的大小，即可判定出两副图片中的人像是否为同一个人。

2.1.2人脸情绪识别

在学生的情绪识别中我们先针对学生课堂的疲劳情况进行研究，后续会开展更加丰富的人脸情绪种类进行研究。

2.1.2.1基于哈欠频率的疲劳判定

我们利用Adaboost算法训练分类器，可以判断嘴巴处于闭合的正常状态还是张开的状态，再把初步判断进行二次处理，计算出嘴巴的张开程度，从而判断人像是否处于打哈欠的疲劳状态。

我们选取各种各样嘴巴张开时的图像（如打哈欠）作为正样本，选取其他面部区域的图像作为负样本，正负样本的图像均500张，并将两种样本的尺寸统一缩放为24×24。为了提高搜索效率，搜索的区域可以缩小至下半张人脸图像。搜索完成得到的张嘴图片再用局部搜索确定二值化分割阈值，从而将嘴巴的轮廓分割出来。为了判断嘴巴的张合度，我们可以选取嘴巴轮廓中最关键的四个点：上边缘点、下边缘点、左边缘点和右边缘点，然后对这四个点建立一个外接矩形，计算外接矩形的宽高比从而判定出是否为打哈欠状态。当宽高比大于1.5时，我们通常认为处于疲劳状态^[3]，具体公式和模型如图4所示

2.1.2.2基于眼睁开度的疲劳判定

眼睛纵横比（EAR）：通过计算眼睛纵横比的数值，我们可以判断眼睛是张开状态还是闭合状态，从而判断出眨眼动作，然后使用若干帧中检测到的EAR组成一个特征向量，再到一个SVM中进行分类。

EYE_AR_THRESH是判断阈值，我们通常默认值为0.3。若EAR大于0.3，则判定眼睛为睁开状态；若EAR小于0.3，则判定眼睛为闭合状态。

2.1.2.3基于是否点头摇头的疲劳判定

当摇头的时候，人的脸颊会变窄，而鼻子长度几乎不变。

当点头的时候，鼻子的距离会变短，而脸颊的会几乎不会变窄。

因此，我们可以通过计算公式的结果来判断学生是否点头或摇头。

2.2脸-屏距离检测技术

基于单目摄像头的距离检测技术已相对成熟，该技术可以根据学生标定的距离，快速简约地计算出学生线上学习过程中面部与摄像头实时的相对位置。如图6所示，算法通过学生课前自己标定其上课时距离摄像头的位置，并根据成年女性正常头围为45-55cm，成年男性正常头围为56-58cm，计算出平均脸宽确定学生脸部区域的像素宽度。根据相似三角形的原理，学生脸部在接近或远离摄像头时，可以实时捕捉到的像素宽度会随着距离产生变化，即远离时像素宽度减小，接近时像素宽度增加，因此我们可以计算出大学生面部距离摄像头的实时距离。

当脸屏间距离在一定时间内频繁大幅度变化，或者长时间太近或太远的时候，平台在屏幕上对学生端发送提醒，并于课后将该异常数据报告给教师端，便于教师课后再进行人工识别。

2.3敏感信息保密技术

2.3.1敏感数据上传

客户端将敏感数据加密后上传至服务端，敏感信息Data采用对称加密算法进行加密传输，对称加密密钥Key采用非对称加密传输。

2.3.2敏感数据查询

客户端从服务端读取敏感数据，在对数据加密传输的同时，对敏感数据进行脱敏处理。

2.3.3敏感数据显示

对敏感数据进行脱敏处理，脱敏的基本原则为保持原有数据特征，隐藏后的位数和隐藏前保持一致。敏感数据包括但不限于学生的姓名、学号、身份证号、照片、电子邮箱、电话号码等。

我们在学生的敏感信息传输过程中进行加密处理，在教师端再进行解密处理，防止学生的信息在传输过程中泄漏。脱敏隐藏方法如，姓名：隐藏姓氏，张三（*三）；身份证号：隐藏后四位；电话号码：隐藏中间四位。

3 线上教学平台设计模型及流程

在《中小学教师在线教学的角色适应及其类型——基于大规模在线教学的实证分析》^[4]一文中提到“学生成长的对话者”是教师感知挑战最大的角色，线上教学的过程中，教师与学生身处不同的空间，无法及时了解和判断学生在课堂中的状态，保持与同学间的交流，帮助解决课堂难题，甚至无法判断学生是否在线上课堂屏幕前。因此，我们将依托上述技术，设计线上教学平台模型，以解决相关问题。线上教学平台围绕课堂展开，从课前签到到课上行为监测再到课后教学评价，面部识别技术贯穿始终，同时辅助监考的功能。整个系统将分为学生应用端和教师管理端两部分，学生应用端采用微信小程序形式，不用安装，具有使用方便和快捷等优势。为方便对数据与人员管理，相应的管理端通过web形式为管理员和老师提供在线使用。整个平台模型在课堂中运行流程如图7所示。

课堂开始，学生通过小程序进入系统，开启摄像头，按照教师要求进行签到以及进入学习监测模式，平台根据相关的算法程序检测学生是否离开画面（脸-屏距离检测）及学生目前的疲劳程度，当出现长时间离开屏幕、睁眼过小或频繁打哈欠等情况，会先给予学生相关的警告并将数据记录于后台的系统中，若学生未及时改正，当达到某一设定值，系统实时反馈给教师，并在教师端右下角弹出消息框，对当前学生情况的统计有个简要说明，并对此提出智能化课堂建议，如图8所示，教师可根据提示页所给提示更改教学进度。

从教学的开始到结束，智能系统将自动记录全体学生的表情数据。课堂结束后，系统根据学生学习状态，采用大数据挖掘、分析技术，形成相关报告。教师可在在教师端的管理系统中数据统计模块查看学生的状态分析，平台系统可视化呈现学生课堂学习状态，教师能够更加学生课堂学习情况，实现线上教学智慧化，打破线上教学中由于空间差异，无法对学生进行及时监测的屏障。

4结语

总之，为助推线上教育教学工作进一步规范化、科学化开展，本研究提出基于人工智能识别技术、人脸与屏幕间的测距以及情绪识别等技术，助力学生在线上学习中主动控制和有意识减少不良行为，并且所获数据经过管理后台大数据分析，实时为教师提供真实可靠的教学反馈，教师可以据此合理安排课堂教学内容，适当调节课堂气氛和教学节奏，为高校实现教育质量稳步发展、人才培养质量稳步提升提供长效的动力，推进高校线上教学体系和教学能力现代化，助力优化未来教育产业服务模式。

参考文献：

[1]景玉慧，王涛，王师晓，沈书生，李浩君. 高职院校网络学习空间现状与高质量发展建议——基于J省89所高职院校首次居家在线教学实践的透视[J].现代教育技术. 2022，32（12）. 32-40.

[2]张涛，鲍淑梅.基于线上线下混合教学模式的数据结构教学改革与实践[J].电脑知识与技术，2022.

[3]蒋文博，谢晓明.一种快速驾驶员疲劳检测方法[J].电子设计工程，2015.34-36

[4]郑玄，玄兆丹，李凌艳.中小学教师在线教学的角色适应及其类型——基于大规模在线教学的实证分析[J].现代教育管理. 2022（07）.104-112

作者简介：李爽（2002.01-），女，汉族，黑龙江佳木斯人，天津师范大学，本科生，智能科学与技术。

基金项目：大学生创新创业训练计划项目资助（项目编号：202210065101）

（作者单位：天津师范大学）