表情控制的智能脸标

表情控制的智能脸标

陈建姣 周依婷 郑羽意

（绍兴文理学院 浙江 绍兴 312000）

摘要：针对残疾人、失能老人这些不便用肢体操控鼠标的人群，本文提出一种基于脸部表情识别模式的智能脸标，促进小康社会的发展。表情控制的智能脸标是一个利用脸部表情识别技术控制光标运行的软件系统，辅助所需人群进行基本的计算机操控。该系统主要由摄像头、电脑等部件组成，建立了面部特征与电脑等智能设备的联系，只需利用摄像头采集服务对象的面部图像，在进行数据校验判断后控制脸标完成特定指令，不需要外部硬件连接即可实现自主判断，表情操控等功能，是智能设备及信息交流系统有意义的应用性研究。

关键词：表情识别；自主判断；智能脸标；操作简便

0引言

随着经济进步、科学技术发展，对特殊人群生活及生理需求的关注度也日渐提升。最新研究表明，当前中国各类特殊人群总数达8500万，但全国范围内提供的各类辅具仅600余万件，残疾人辅助系统配置率不到六分之一，对手脚活动受限而无法进行智能化设备操控的特殊人群来说，他们希望与社会建立密切联系的心理需求常常无法得到满足。因此，本文提出了基于表情识别的智能脸标。该系统操作简单，使用者对准摄像头根据所需做出特定面部表情，摄像头会自动采集服务对象的面部图像，借助WIFI传输到处理器——Visual Studio，再进行数据校验判断后控制脸标完成特定指令，即完成张嘴脸标上移、抿嘴脸标下移、左转脸脸标左移、左眨眼脸标左击等操作。

1总体结构设计

表情控制的智能脸标主要利用Visual Studio编辑、调试并生成代码，借助表情识别技术，摄像窗口识别服务对象做出特定表情动作，比如张嘴、眨眼、左右转脸、左右眨眼等动作，从而获取用户面部表情信息，在分析比较确定表情动作后，控制脸标完成特定指令，比如脸标上移、脸标左击、脸标左移等运作，实现了自主判断和自动操控。本系统有助于满足残疾人、长期卧病在床的失能老人等不便或不愿用肢体操控鼠标人群的生理及心理需求。

2系统软件设计

本智能脸标只需软件设计，不依靠外接硬件，实现了依靠面部表情控制脸标进行常规操作的功能，其流程如图1所示。根据软件设计的实现，将脸标的介绍分为软件的开发制作、核心技术及指标判断的方法三个部分。

图1 脸标操作流程图

2.1软件的开发制作

智能脸标的开发选用了Visual Studio，该应用能基本满足软件开发所需的工具包。首先在该软件中新建选择VC++模式建立空项目，并添加cpp后缀文件用于编写检测表情指令的相关代码的空间；其次在属性管理器下完成各项配置；最后点击Debug调试运行，系统会自动弹出一个通过摄像头来监视脸部表情的界面，届时会实时显示当前使用者的面部表情以及反映出的各种信息，通过信息的分析与提取，操控电脑上的脸标进行相应的操作。

2.2核心技术

本系统的核心技术将用于人脸检测的计算机视觉软件库Opencv作为基础，增加Dlib库用于人脸追踪，该库中具有的模型数据用来估计人脸上68个特征点，1-17点标志脸型，18-27点标志眉毛，28-36点标志鼻子，37-48点标志眼睛，49-68点标志嘴巴。每一个特征点可随面部表情变化而变动，根据表情前后变化的特征点建立数学模型，计算68点位置的长度宽度比来跟踪人脸的移动，标识出5种状态，前后模型对比后可得出相关表情的判断指标。

2.3指标判断的方法

本系统共有张嘴、抿嘴、左眨眼、右眨眼、眨两次双眼、脸左转、脸右转七个表情动作，对应脸标上移、下移、左单击、右单击、双击、左移动、右移动七个指令，每个表情动作都有其对应的判断依据。

a.张嘴

该动作通过上下唇面积增大、嘴唇纵横比减小来判定。方法一是首先通过dlib库识别嘴巴，从而确定轮廓，后通过上下唇中间连线加上两边唇角连线得到嘴部的一个中心点（0，0）,根据这个中心点求出每个特征点（Xi,Yi）与中心点之间的距离Ai及相邻特征点之间的距离Bi，在此基础上利用海伦公式计算三角形面积Si；方法二是通过纵横比（△X/△Y）变化来判断是否张嘴。将两者与采集的正常不张嘴的数据比较，若面积增大、纵横比减小且持续一定时间，则确定表情动作为张嘴。

b.抿嘴

该动作通过上下唇面积减小、嘴唇纵横比增大来判定。其计算方法与张嘴相同，根据公式计算抿嘴时嘴部面积和上下嘴唇纵横比，再将最后数据与正常值进行分析比较，若嘴部面积减小、纵横比增大且持续一段时间，则确定表情动作为抿嘴。

c.眨眼

该表情分为左眨眼、右眨眼、双眨眼三个动作，以左、右眼和上、下眼皮间距减小，眼角与上下眼皮纵横比减小判断眨眼。首先根据dlib库找到眼睛的轮廓点，再参考与嘴部相同的海伦公式计算眼部面积，并与纵横比计算得到的值进行对比，若使用者保持闭眼动作一定时间，则系统判断其表情为眨眼。

d.转脸

该动作通过左半脸颊与右半脸颊的面积比变化及颧骨与鼻梁骨之间的距离比变化判断转向。首先找到脸颊轮廓与鼻梁，通过对数学模型的计算，获得其所夹杂区域的面积；然后计算左右脸颊颧骨到鼻梁骨之间的距离，记左颧骨到鼻梁骨的距离为△a，右颧骨到鼻梁骨的距离为△b，距离比为△a/△b。将面积、距离比与正脸值比较，若计算得左脸面积大且距离比大，且使用者保持该动作一定时间，则判断为右转脸，脸标向右移动；反之则为左转脸，向左移动。

3结论

本文设计的智能脸标以Visual Studio为基础的开发软件，主要利用了表情识别技术，有效建立了面部与智能设备的联系，能为不便使用手脚的残疾人、失能老人提高生活质量，缓解了该人群与大数据时代脱节的尴尬局面，为社会特殊需求作出了贡献；正常人群在因故腾不出手时，同样可以使用该脸标进行操作，提高个人生活效率。智能脸标的操作十分简单，使用者只需利用面部表情即可操控脸标，实现无负担上网，人机关系十分友好，可以在社会上大范围运用。

参考文献

2. 秦续洋. 基于OpenCV的人脸表情识别系统的设计与实现[D]. 郑州大学, 2013.

3. 何良华, 邹采荣, 包永强,等. 人脸面部表情识别的研究进展[J]. 电路与系统学报, 2005, 010(001):70-75.

4. 李健, 李鹏坤, 师永刚. 基于自由形状变形的三维人脸表情控制[J]. 计算机工程与科学, 2010, 32(3):59-61.

5. Castelli D, Pagano P. OpenDLib: A Digital Library Service System[C].International Conference on Theory and Practice of Digital Libraries. Springer, Berlin, Heidelberg, 2002.

6. 鲍尔, 斯内尔刘彦博, 肖鹏,等. Visual Studio 2005技术大全[M]. 人民邮电出版社, 2008.