基于LeapMotion的动态手势识别研究

基于LeapMotion的动态手势识别研究

吴非,赵丁皓

西南民族大学   四川省   成都市  610041 

摘要：随着科技的发展、时代的进步，手势识别技术已经由理论阶段慢慢转变成产品落地阶段。但之前普遍研究都采用普通摄像头来获取手势手部特征与运动轨迹特征而无法获取深度三维特征，因此本文采用LeapMotion深度相机进行动态手势识别，通过使用LeapMotion采集动态手语数据并使用HMM模型完成动态手势识别判定。

关键词：人机交互；手势识别；LeapMotion；HMM；

1引言

近些年，人机交互正在飞速发展，已从键鼠输入交互发展到更为自然的手势交互。其中基于视觉的手势识别技术更是被广泛应用。在基于视觉的手势识别领域中，深度相机广受研究者喜爱［1］。因为它比普通摄像头抗干扰能力强、拥有更高质量的图像分割技术、能提供深度三维特征信息，为后续的动态手势识别提供有效的数据支撑。

2LeapMotion

2.1LeapMotion概述

LeapMotion是体感传感器公司Leap研发的基于视觉的体感传感器。它支持PC端和Mac端，用户使用时，挥动手指就可以实现PPT翻页、文章浏览、音乐播放与暂停等功能，也可以在3D空间拼接和拆分模型，还可以进行绘画与书写等等［2］。它使用了红外摄像技术，它拥有150度超广视野，能有效检测设备上方0.03米至0.6米，可同时追踪10个手指，精度高达0.01毫米，实时捕捉每秒超200帧数据［3］。它还提供了包含Python、Java等多种开发语言的API接口，方便用户进行二次开发与设计。

2.2LeapMotion设备介绍

LeapMotion传感器整体采用了右手直角坐标系。其中，原点设立于设备的上表面正中心、X轴与设备的长边平行，Z轴与设备的短边平行。Y轴则垂直于设备的正表面。

LeapMotion一共拥有两个高帧率的广角镜头和四个红外LED。表面的滤光层对进出光波进行了过滤，只允许红外光波进出，实现了初步的数据处理，降低后期模型运算复杂度；再通过双目广角摄像头捕捉手部关键点三维位置信息，最后建立手部立体模型；

3动态手势数据的采集

手势追踪的实时性和准确性是动态手势识别中的重点。普通的单目RGB摄像头无法满足数据采集的要求。而LeapMotion的双目广角高帧率摄像头可以提高手势定位精度以及较少手指间的遮挡问题，可采集更有效、准确的数据。

3.1动态手势采集的阈值设定

如何准确的划分出动作的起始点与终止点是动态手势数据采集的一个关键点所在。而我们选择了手势运动的速度阈值以及手势运动方向变化率的阈值进行判定，划分出手势起始点与终止点。手势运动速度阈值判定来确保手势的运动特性，当手势运动速度大于阈值时则开始采集手势数据，当小于阈值时则结束手势数据采集。

只有单一的判定标准是不够准确的，我们又加入了运动方向变化率阈值判定标准用于确保手势比划过程中因手势方向上的变化造成了速度低于设定阈值的情况。针对采集到的手部的掌心位置特征，对于下的掌心的坐标为、、。然后求导可以推算出下的位移方向，求导过程即求出时间内各个维度方向的曲线斜率。此外也可以同时求出和的速度。最后再计算出下的手势运动方向变化率。

3.2动态手势特征提取

我们使用LeapMotion对手势数据进行采集以及特征提取。设备可以准确的采集手部模型中的每一个关节的数据，可识别数据包括手、掌心、手指的位置信息、翻转角度、伸展程度等等，这些数据均被封装在每一个数据帧下。提取的手部特征分为以下四类：

（１）掌心位移特征提取。该特征表示手势运动中掌心的位移变化情况。

（２）掌心法向量特征提取。该特征表示手势运动过程中手掌的翻转变化情况。

（３）掌心球半径特征提取。该特征表示手势运动过程中手型伸展变化情况

（４）五指伸展度。该特征表示手势运动过程中五指伸展变化情况。

4基于HMM的动态手势识别模型研究

动态手势识别有很多方法，每种方法都各有千秋［4-6］。而相比其他方法，HMM模型能够处理基于时间序列的手势信息，在处理语义信息上也有很好的表现。

4.1基于HMM模型的动态手势识别研究

HMM模型的动态手势识别过程是，将需要观察的手势特征序列输入已完成训练的HMM模型，通过计算、评估该序列符合其中某一个模型来确定该输入手势的属于哪个手势。我们通过前向算法来预测输入的手势特征序列对于每个训练完成的HMM模型的匹配概率。

4.3基于ＨＭＭ模型的动态手势识别实验及结果分析

本节通过加载上一章采集好的数据样本去训练手势模型最终得到6组HMM手势识别模型，再通过各个模型对样本的预测评分来判断该手势模型的识别率。

实验中我们将每组手势的样本的1000组数据，按照８：2的比例随机抽取进行交叉验证，前800组数据作为HMM模型的学习数据，通过算法学习、训练得到HMM模型，随后使用剩下200组作为HMM模型的测试评估数据。重复上述步骤５次交叉验证，并将测试结果求平均值，最终评估出6个训练完成的手势识别模型的识别概率。识别结果如表1所示：

表1 HMM模型识别结果

实验结果说明HMM模型经由手势特征数据训练后对于本文定义的动态手势识别大多都有不错的成绩，但存在相似的两组手势之中，一组识别率较高，另一组识别率较低的情况。

5总结及展望

手势识别技术已经广泛应用与我们的日常生活中了，其中基于LeapMotion的动态手势识别研究也成为了人们的重点研究对象。我们在本文中也证明了它的动态手势数据采集，以及基于HMM的动态手势识别的可行性。但也亟需更多的研究者加入其中，解决其存在相似手势中另一组识别率较低的情况和考虑多个LeapMotion协同采集数据的方案。

参考文献：

[1]解迎刚, 王全. 基于视觉的动态手势识别研究综述[J]. 计算机工程与应用, 2021, 57(22):68-77.

[2]金童, 蒋玉茹, 邱伟. 基于Leap Motion的汉字空中书写及识别系统[J]. 电子技术与软件工程, 2019(23):3.

[3]Atas, Musa. Hand Tremor Based Biometric Recognition Using Leap Motion Device[J]. IEEE Access, 2017, PP:1-1.

[4]卢迪, 马文强. 基于改进YOLOv4-tiny算法的手势识别[J]. 电子与信息学报, 2021, 43(11):9.

[5]谷学静, 周自朋, 郭宇承,等. 基于CNN-LSTM混合模型的动态手势识别方法[J]. 计算机应用与软件, 2021, 38(11):5.

[6]吴晓凤, 张江鑫, 徐欣晨. 基于Faster R-CNN的手势识别算法[J]. 计算机辅助设计与图形学学报, 2018, 30(3):9.

姓名：吴非（1996.12--）；性别：男，民族：汉族 籍贯：重庆潼南人，学历：硕士，就读于西南民族大学；研究方向：人机交互。

基金项目：西南民族大学中央高校优秀学生培养工程项目(2021NYYXS117)