国家知识产权局专利局专利审查协作天津中心
摘要:本文从虚拟现实技术的发展演进以及现状,并通过专利检索、分析对决定AR/VR发展的关键技术:大视角的沉浸体验、眼动追踪技术、虚空中的手势操作等方面进行分析,对国内外主要企业在相关领域的核心专利进行了分析,从而为国内企业在虚拟现实领域的专利布局和发展提供了方向指引。
关键词:虚拟现实;大视角;眼动追踪;手势操作
一、基本概念
虚拟现实(Virtual Reality,VR)是一种可以创建和体验虚拟世界的计算机仿真系统,其通过计算机生成一种模拟环境,是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真,使用户沉浸到该环境中。
虚拟现实技术自2014年Facebook以20亿美元收购Oculus开始,火速风靡全球,成为全球各大厂商关注的焦点。为了提高虚拟现实产品的沉浸感、想象力、交互感,提高人机交互的适人化、计算平台的普适化,增强场景数据的规模化、环境信息的综合化,推进传输协议的标准化、领域模型的集成化,需要在光学设计(尤其是大视角设计)、交互技术、显示技术、计算机处理技术以及为提高用户佩戴舒适性而进行的人体工程学设计等关键技术方面进行研发和改进。
二、虚拟现实技术的演进
虚拟现实是一种可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。早在1935年,美国科幻小说家斯坦利·温鲍姆在他的小说《皮格马利翁的眼镜》中首次具体化了虚拟现实设备;随后,摄影师莫顿·海利希在1955年设计并于1957年申请了头戴显示设备原型机的专利;1985年,VIVED VR头戴显示设备已经正式投入美国宇航局(NASA)服务,其作用是通过VIVED VR训练增强宇航员的临场感,使其在太空能够更好的工作。不过在过去的很长时间内,头戴显示设备主要还是挖掘用户需求、构建生态系统为主,产品同质化严重,产品之间技术优势不明显,直到谷歌眼镜和Oculus Rift的出现,虚拟现实和增强现实再次引领了新一轮的关注。随后,针对虚拟现实的头戴显示设备逐渐走入人们的生活中,Facebook,谷歌,奥林巴斯,三星,索尼,HTC,微软等巨头一字排开,纷纷掏出自己的头戴显示设备,争先恐后的希望把你从现实的空间拉入虚拟的幻境。
三、现有技术的发展现状
一)全球范围内AR/VR技术发展概况
自20世纪70年代以来,用于增强现实或者虚拟现实的头戴显示设备便被提出,AR/VR头戴显示设备在这40多年间处于快速发展阶段。随着人们对AR/VR头戴显示设备关注度的不断提升, AR/VR头戴显示设备的技术不断向前发展。
相比于国外,国内AR/VR头戴显示设备专利申请量起初比较小,这是由于国内技术起步较晚,AR/VR市场小,国外申请人对中国市场不够重视。2000年之后,随着国内技术的发展以及中国经济的增长,国内专利申请量开始有了相对较快的增长,随后在2009年左右,国内申请量增长速度与国外申请量增长速度趋于一致,接下来的时间里始终保持着高增长的态势。
通过检索对专利申请的分析,我们发现AR/VR头戴显示设备的申请量前四位的国家/地区/组织分别是美国、日本、欧盟和中国,这四个国家和地区占全球专利申请总量的八成以上,其中美国是专利申请量最多的技术来源国,占全球申请量的36%,其次是日本,占全球申请量的21%,紧随其后的是欧盟和中国提交的申请,分别占全球申请量的12%和11%。充分显示了上述区域在头戴显示设备的重要性,以及美国与日本在AR/VR头戴显示设备领域的技术创新能力优势明显。
二)决定AR/VR的关键技术
1、大视角的沉浸体验
在头戴显示设备的VR和AR体验中,视场角的大小直接影响到显示设备的显示效果以及使用者的体验感受,因此视场角宽度一直是申请人关注的热点之一。
索尼公司较早的提出通过避免可视范围内色散度从而提高头戴显示VR设备的可视化角度,如1996年提出的专利申请JP12064496,通过使用液晶偏振抑制色散,从而提高可视化的视角。
LUMUS有限公司在2003年提出的专利申请US20030297261中提出了一种多个棱镜整齐排列构成的透明平板,能够实现30°的增强现实的视场角。
奥林巴斯在2009年的专利申请JP2009074420中提出了光传输经过的光波导结构设计为六面体棱镜结构,在眼瞳孔间距的方向具有大宽度的光瞳,可防水和灰尘,但是棱镜面型复杂。
目前来说VR和AR头戴显示设备最优的视场效果是怎样的呢?
STARbreeze在2016年提出了具有210°视场角的VR专利申请WO2016EP65209,这个光学系统接近于自然人眼的视角,最重要的是其采用了平面的菲涅尔表面的透镜,具有了极大的视场角、高质量的成像。成都虚拟世界科技有限公司在2016年推出的IDEALENS一体机专利申请CN201611029369具有180°的VR视场角度,并具备相应的畸变校正算法,该专利申请为一种用于单目的近眼显示系统以及虚拟现实设备,使得虚拟现实技术能够在视觉上满足人眼的观看需求,从而能够向用户提供沉浸式的体验。
2、眼动追踪技术
眼动追踪技术包括虹膜识别和眼球追踪,虹膜识别是利用人类眼睛进行的,每个人眼睛的虹膜都是独特的,相较于面部识别、指纹识别都更加安全和有效。眼球追踪技术能够追踪眼球的运动并利用这种眼球运动增强产品或服务的体验,能够实现注释点渲染,对减少眩晕产生一定的效果,使用眼球的运动和设备进行交互能够解放头部运动和双手,只要简单的看着或者眼球转动就能够快速实现人机交互。
1995年奥林巴斯公司提出了追踪眼球位置调节图像的专利申请JP31039295,根据人眼的眼球位置与人眼调节实现图像调整的方式,更加符合视觉生理特性。谷歌公司在2012年提出专利申请US201213427583,通过感测使用者视线,控制选择观测目标;2013年SMI创新传感技术有限公司提出了专利申请CN201380045737,利用双眼追踪,计算来自眼睛的定向向量,并且渲染注视点的左右眼图像,提高分辨率。2014年,精工爱普生提出专利申请JP2014213543,通过检测使用者视线方向,调整进入到使用者眼睛中的外界光线,从而提高显示质量。
3、虚空中的手势操作
在AR/VR交互方式中,不再使用鼠标键盘,大部分交互使用手直接抓取的方式,通过手势跟踪作为交互能够更准确地被捕捉到,使得操作控制更加方便、快捷。
谷歌公司在2011年提出了专利申请US20110507184,包括通过眼镜上发射出的红外光线照射到手上,利用眼镜上的红外相机探测反射回的红外线,以实现人机交互的手势追踪方式。同时在2012年提出了专利申请US201213630537,通过手势触发操作并识别手势限制的区域用来限定图像摄取位置和范围。精工爱普生在2013年提出了一种手指移动操作虚拟部的头戴显示装置专利申请CN201410616180,通过检测使用者手指的移动,使用者观看到手指移动的虚像,检测到和手指移动相应的虚拟操作部,进行操作。同时,索尼公司在2014年提出一种手套专利申请JP2013229441,通过手套进行触碰、抓取等动作操作。
四、发展建议
本文通过对虚拟现实领域关键技术的分析,为国内企业在虚拟现实领域的专利布局提供导航指引,具有较好的应用前景,为此提出以下建议:
(1)目前国外的一些企业在用户的眼动追踪技术中纷纷布局虚拟现实专利,并投入相应的研发和生产,通过眼动追踪技术能够解放用户的头部运动和双手,只要简单的看着或者眼球转动就能够快速实现人机交互,从而能大大提高用户的体验,而国内相关领域的专利布局确很少,建议国内公司在该方面应该投入相应的研发,并增加在该方面的专利布局。
(2)国内企业虽然在虚拟现实领域中布局了一定的专利,但是在市场上的产品数量种类、销售额以及市场占有率却不大,后续应该将优质专利尽快转化为产品,并加大虚拟现实领域的新体验的研发投入比例,例如虚拟现实光学结构的设计和改进,从而为企业创造更好地价值。
注:第二作者施宏杰对本文贡献等同第一作者