基于人脸识别技术在教学场景应用的研究

基于人脸识别技术在教学场景应用的研究

郭玉婷1 ,孙学进,指导老师 ,尹志雯3 ,周世爱3  ,高瑞雪3  ,魏堰芳3  ,王瑞婷3

青岛黄海学院 266555

摘要

随着时代的发展，教育领域也在现在的信息时代的推动下发生了巨大的变化，随着智能手机、电脑的普及应用，让越来越多现代技术走进课堂，使其成为智慧课堂让教学形式变得多样化，因此传统的教学方式也越来越无法满足现在教育的教学需要。随着科技的不断进步学生在学习上也越来越离不开手机、电脑的使用，但是如何让学生正确使用现代技术，让它促进学生们的成长和学习，使他们的学习生活不在枯燥乏味，反而变得丰富多彩，让现代技术真正为教学所用，让他成为教学的得力助手，也将成为全社会教育工作者所面临的全新课题。

关键字：人脸识别，校园应用，智慧课堂

一、研究背景和价值

随着科学技术的不断进步，人脸识别技术在生活中也越来越常见，比如手机解锁，付款等多个方面给人们带来了一种全新的消费体验并且安全高效，受到了大部分消费群体的喜爱，然而在教育方面的应用远远不及在生活上使用的多。通过人脸识别技术可以更好的来督促学生学习以及检测学生身份的真实性和与定位检测相结合的方法对特定学生的定位检测，帮助管理者了解学生在学校的状态。尤其是在幼儿园和小学中，传统的幼儿园和小学都是通过电子卡或者纸质名片来进行孩子的接送，人脸识别技术可以有效的防止小朋友被冒领、拐骗的现象。

二、研究的目标与内容设计

（一）、研究目标

作为一名在校学生，我们深知人脸识别技术在教学上应用对我们的帮助。因此希望可以通过对本次课题的研究，可以达到以下目标：

1. 通过对人脸识别技术的深入研究，探索出其在教学上的更大的价值和必要性。
2. 以现有的技术为基础，更深入的探索还有没有其余更大的发展空间和改进。
3. 通过研究，探索出提高教学在其方面的使用效率，并使老师们可以灵活运用。

（二）、研究内容

我们研究的是“基于对人脸识别技术的研究在教学方面的应用”这一课题，研究内容分为以下几种:

1. 人脸识别支付系统

众所周知，每一位学生在学校上学都需要保障基本的物质需求，例如:一日三餐，生命之源——水等，这就需要用到饭卡、水卡。据我们的调查发现，几乎每位学生都有把饭卡或者水卡弄丢的经历，再次去补办不仅费钱而且费时间。其实最近这几年以来，饭卡的发展已经有了质的飞跃，在早些时期，我们的爷爷奶奶辈上学的时候，都是自己带着食物。几年以后，我们父母上学的那个年份，开始在食堂吃饭，只不过支付方式用的还是零钱。到我们这辈，发展已经很飞速了，我们已经可以把钱充值到校园卡里去支付了。好处是第一避免纸币的丢失，校园卡丢了可以补办，钱丢了可就追不回了。第二，使我们的生活更加便捷，大大提高了生活质量。我们研究的内容就是不需要校园卡，直接刷脸就可支付，这样更加便捷而且安全。

2. 在线课堂看见学生

自从疫情发生以来，全国各地都开展线上工作、上学。尽管各地疫情都在稳定控制，开展了线下教学，但是有些特殊时期还得开展线上教学。线上教学和线下教学是不一样的，我们也都承认线下教学方式确实比线上教学方式效果好。线上教学会出现的局面就是：老师在讲课，学生在床上躺着听。线上教学可能有数千名同学在线上听课，而且线上教学学生一般不开摄像头，如果开的话，老师的观察力在仔细也不可能通过观察每位学生来了解学生的接受程度。长时间的观看手机、电脑屏幕不利于眼睛的健康，而且老师要观察每一位学生的表情显尔也不太现实。我们研究的这项内容就是将人脸识别技术引入线上课堂，上网课期间，人脸识别技术可以通过对学生面部表情的识别，记录学生在课堂上的表现，并把这些数据反馈给老师和家长，让老师对课程的了解程度更加深入，让线上课堂老师看见学生成为可能。

3. 人脸识别签到系统

现如今，大学课堂基本以大课的形式讲授课程，教师一般用点名的方式或者学习通等学习软件进行签到，以考察学生的旷课和早退情况。然而这些方式都不能很好地保证学生的出勤率，只需要一部手机或者替课就可以签上到，因此各大学“替课”、“翘课”的现象非常普遍，甚至出现了好多“替课”形式的群聊，有好多学生依靠这个旷课。我们研究的内容就是人脸识别签到方式。老师不再使用传统的签到方式，只需要提前把学生的人脸信息录入数据库，学生在进入教室时在镜头前露一下脸即可完成签到，并且会记录学生在教室的时长，避免早退的现象发生。

4. 考生身份验证系统

在大学期间，有很多证书考试，比如英语四六级、国家计算机等级考试、教师资格证考试、普通话考试以及各种专业证书考试。因为疫情的影响，这些考试规定必须佩戴口罩进行考试。但是许多高校为了疫情防控，在进行考生检查的时候都不会让考生摘下口罩，这就大大增加了“替考”等违规现象的出现次数。我们的研究内容就是通过对考生证件的信息提取来匹配其人脸信息，同时在考试过程中对考生的人脸进行自动抓拍并匹配证件信息，以此来协助监考老师工作。我们的研究内容最大的亮点就是：考生佩戴口罩就可进行人脸匹配，可以精准识别人脸的几百个关键点。

5. 学校安全防护系统

一直以来，拐卖小孩就是社会上的焦点问题。上幼儿园的孩子最容易被拐卖，主要原因是他们安全意识差，有的小孩被一块糖就骗走了。前段时间，抖音上很火的一位寻亲父亲孙海洋寻找儿子孙卓十几年终于找到了儿子，期间经历了很多令人心酸的磨难和坎坷。我们研究的内容就是：因为有很多人贩子冒充孩子的家人来接孩子回家，所以我们建立了一个人脸识别系统。家长提前把人脸录入，来学校接孩子的时候老师进行验证，验证成功之后即可带走孩子，这个系统从根本上解决了孩子走丢的问题。还有很多学校为了防止陌生人员进入，也建立了人脸识别系统。认证成功的学生和教职工才能进入学校，不成功的需要证明材料，这也大大保证了学生的安全。

三、研究方法、阶段性成果

（一）、研究方法

要研究人脸识别技术在教学中的应用，首先应该对人脸识别这一概念、原理以及背后的深层含义进行剖析。通常我们所说的人脸识别是：先给一张照片，将人脸的区域通过特定算法给找出来，我们也称它为人脸检测。其目的就是发现人脸，能够顺利将人脸找出来，找到人脸之后，再通过一些计算机的算法或者计算机模型，如：图像识别算法、SqueenNet、神经网络、深度学习模型、匹配模型等等，以此来发现这些照片中与人脸相关最有辨别性的一些特征。如：人的眼睛、嘴巴、眉毛、鼻子的外形轮廓等特征，这些面部五官的特征都会为人脸识别提供有用的特征。我们通过计算机模型与计算机算法将以上特征提取出来之后，将这些可靠的、有用的特征通过有效手段保存起来。接下来就将其与数据库中的照片进行校对（此步骤的前提是前期已将数据库做好，并将相应的面部照片录入数据库中进行留存），在数据库进行特征的检测与提取，最后将两个特征进行匹配。检测结果显示比较像的，我们认为两者是同一个人；那么反之，如果差别过大，我们就认为两者不是同一人。我们如今的算法，对于不同的肤色、不同的表情、不同的视觉方位或其他人脸的姿态扭曲变化，如正侧脸、俯视角、仰视角等等，都有比较强的识别性。与此同时，不仅能够发现可视范围内的人脸，而且要求能比较准确的识别眼睛、鼻子、嘴巴等的具体位置。

我们的人脸识别阶段首先尝试的就是一些比较基础，也比较经典的模型，比如从Googlenet开始，但是因为层数较高，后期实际参数出现较大的增长，需要更宽的网络需求，以此来提高精准度。因此，后来我们就采用了轻量级模型SqueenNet。

识别



流程如图所示：
 

目前在人脸识别领域，国内外研究的方法还是比较多的，经常用到的如：基于几何特征的人脸识别法、可变模型法、基于代数特征的人脸识别法、基于连接的人脸识别法、基于三维数据的人脸识别法等。基于人脸识别技术在教学领域的交叉融合，我们主要采用前四种方法予以研究。

1.几何人脸识别法

关于几何特征的发展，其本身其实是基于侧面轮廓对人脸面部特征进行识别与描述，即根据个体侧脸的轮廓确定节点（此节点类似于人的骨点，以此作为重要依据，我们称其为显著点）。而后由这些节点推出一系列数据，距离、角度、对比度等，以用于识别面部特征。并结合人脸灰度图，利用积分投影研究相关数据。个体的差异性可以作为我们对人脸识别研究的重要依据。我们人类的面部特征主要由五官姿态构成，比如：我们的眉毛、眼睛、鼻子、嘴巴、面部轮廓等。正是由于这些五官的特征不一，比如：大小、长短、高低等各种组合之间的差异性，让人类的脸庞成为世界上独一无二的存在，也正是因为每个个体之间的差异性使得每个个体有更见鲜明的特征。即：可以对此人面部特征，包括形态与结构关系等进行几何描述。

2.可变模型法

由于实验中对几何人脸识别的尝试性研究，发现其精确性与可行性仍存在弊端，于是我们结合其他资源找到一种更为可行的研究方法——可变模型法。

此方法可以算得上是几何特征法的一种进阶，通过定义函数变量，设计一个可调参数的模型，称之为变形模板或器官模型。之所以称之为变形模板，归因于此模型可通过调整事先设置的参数来让函数值变大或变小，当达到一定值，此时的模型表现出来的数据——参数，简单来说，就是将模板参数化。其美中不足之处仍是计算上的问题—运算量。个体面部特征向量，我们将其称之为特征脸，其实面部集合的对比识别可以看作成二维数据的人脸识别，通过定位辨别出人的面部，再将该图像与数据库中的已知特征的数据进行校验，以此来识别人脸。检测人脸时，相关值的数据一般都不是孤立的，而是由面部特征中各部分的相互结合、匹配与参照，综合性得出的结果。其次，用eigenpictures（面部集合的平均协方差的本征函数）坐标系统可以充分表示。

3.基于代数特征的人脸识别法

我们了解，每一张图片色调不同，灰度不同，那么灰度就成为研究人脸图像识别的一个重要对象。在基于代数特征的人脸识别法的研究中，可将一张人脸面部照片看作为许多像素的矩阵，通过二维灰度图像进行一定的变换后，将此二维空间的点阵映射到其他维数更低的空间。然后通过一定的算法来推断图与影之间的相似度，所谓基于代数，通常就是基于距离的研究。

（三）、阶段成果

课堂考勤是指的教师对学生平常的表现以及平时成绩进行打分，根据我们的调查，他占课程成的30%——50%，目前我们的教学管理大多都采用传统的人工管理方式，就我们学校而言，我们的考勤情况主要是通过老师上课人工点名，以及学习通签到，和不定时签到来记录的。这种传统的人工点名管理方式，不仅消耗了大量的时间人力和物力。而且效率低，出错率偏高，依然无法实时的检测出迟到、早退、代课以及旷课的现象，没有办法对学生的考勤进行全面的监控。

为了解决以上的问题，根据人脸识别在教学方面的研究，我们合理的利用了物联网和无线网络技术并且结合了人脸识别的技术，能够合理的对学生的考勤进行监控，使学生的被动考勤转换为主动考勤。该系统实现了学生自主图像的签到和定时自主图像签到，我们还利用了人脸识别技术，对考勤的图像进行人脸识别自动匹配学生的身份。并且根据识别的结果自动计算出学生课堂的考勤分数。因此，我们做到了全方位，全覆盖的对学生的考勤的自动化管理进行了全面的监控。

我们也遇到了困难和挑战，传统点名方式耗时长、效率较低，可靠性查，因此我们设计了一款基于人脸识别（FRT）的智慧课堂点名系统。该系统主要采用了B/S结构、Access数据库技术、web网页设计技术、c#编程技术我们将这些技术集中到服务器当中。我们还采用了整体的流程规划，包括人脸检测程序、数据库、网页，保证了系统的实现。

人脸识别课堂点名技术一方面让学生一进教室就可以刷脸点名，上课前5分钟就会弹出数据（应到，实到）。节省了课堂时间，提高了课堂的效率。另一方面，避免了逃课，替课的现象，对学校的管理起到了促进作用，督促了学生学习，提高了学习效率。通过我们一系列的实验和实践表明，我们的系统实用性好，便捷性高，和传统的点名方式相比准确率和课堂效率都明显提高。

四、研究的结果

我们的项目研究主要是围绕人脸识别技术在教学方面的应用，在智能投影仪上我们加了人脸识别的功能 ，通过日期和时间判断该时间段为哪个班级的哪一节课，系统导出该时间段上课班级的人员信息，当然，在学生入学的时候就应该录入人脸信息，到规定的上课时间点投影仪的小摄像头会360度旋转扫描班级的所有学生，通过导入到系统中的学生人像进行对比，来确认本教室该班级已到位与未到位学生的姓名，在显示器上显示，老师可以点击学生姓名来查看学生照片，从而核对具体的未到学生名单。在课间休息后的第二堂课前和在即将放学前可以再进行多次人脸识别来对应学生未到名单，这样可以大大的降低高校课堂旷课迟到早退的几率。

我们还可以在人脸识别的基础上再加上对人脸微观表情的识别能力，课前的人脸识别点名签到能大大的提高了课堂的上座率，那怎么加强学生课堂的学习效率呢，就可以应用到人脸识别对人脸微观表情的识别能力，首先对多位学生上课时专注与走神时的面部表情的细微变化进行扫描，然后转变成数据，再多次对应到多个同学以试准确性，然后在老师上课的过程中，投影仪的小摄像头会不定期的扫描同学们的面部表情，再通过与前期导入的人脸微观表情数据进行对比分析，来判定该同学是否是在注意力集中的情况下听课，然后可以在大屏幕上显示该同学的姓名以提醒同学们要集中注意力的听课，这样可以大大的提高同学们上课时的专注度，也可以让老师不用担心同学们走神来分心管那一两个同学而耽误整个班级课堂的进度，即使是在大教室老师也可以安心上课了。

在上课时，老师过多过少的都会来提问同学们几个问题，当正式上课后有同学站立的时候，投影仪上的摄像头会自动对焦到该同学的脸上，来扫描该同学的面部表情信息，通过区别自信，紧张与淡定的微观表情信息来与早期导入系统的数据进行比对，来判断该同学是否是真的会此问题，如果是自信的那没有问题老师可以给加课堂表现分，如果是淡定的老师可以通过回答的情况来定是给予加分还是不加不减，如果是紧张的话，在大屏幕上可以进行显示，老师可以对该问题进行更为详细的讲解，这样可以大大的提高学生上课的积极性，对老师所讲的内容更为专注去理解，对会的问题进行回答就会有相应的加分，这样的课堂谁能不爱上呢？这不仅提高了课堂的上座率，也提高了学生学习的专注力和积极性，学生的成绩自然而然的就会提高，学校升学率就会相应的提高。

五、反思与展望

在整体环境下，人工智能将迎来一个快速发展的时期，所以人脸识别技术的未来也必定更为广阔。尽管到目前为止人脸识别的研究已经取得了很大的进展，提出了许多的算法，还有不少软件投入了商用，但是，人脸识别技术在教学方面的应用还未曾实际实现到现实当中来，我们希望我们的想法研究，能真正的应用到现实生活当中来，无论是在高校中还是在中小学甚至是幼儿园，教师与人工智能相结合的课堂一定是事半功倍的。可能还有很多人是持怀疑态度来看待这件事情的，对人工智能技术的不信任，对人脸识别技术的不肯定，我们要做的是打消群众的顾虑，让学校信任，老师省心，家长放心的把人脸识别技术应用到课堂上。

对于人脸识别来说，人脸特征是重要的个人信息，属于个人隐私，随着人脸识别的推广应用，各系统采集和使用的个人信息不可避免会出现被破坏、盗取或复制等安全隐患，而在教室中的人脸识别正是对同学们面部微观状态的诊断、对比、反馈和记录，因此推进相关立法与标准化工作是政府有关部门必须和迫切要做的一件事情。运用法律来约束个人生物特征的采集、使用、存储及管理权限，有效的防止这些数据信息被滥用，从而避免他人的权益受到不法侵害，当然，我们也应该在人脸识别所对应的数据库进行安全加固，防止不法分子进行盗取学生人脸信息并通过AR换脸等技术来实施犯罪。

参考文献

宋爽《通讯世界》-2019

苏祎芳《云南警官学院学报》-2017

张璐阳；刘志华；孙彦坤；周东兴《农村经济与科技》-2019

任思颖；许修会《科技资讯》-2018

青岛黄海学院2021年大学生创新创业训练计划

项目编号202113320188