面向电力智能抢修的增强现实交互研究

面向电力智能抢修的增强现实交互研究

孟祥宇

内蒙古电力（集团）有限责任公司呼和浩特供电分公司, 内蒙古 呼和浩特010010

摘要：在增强现实的三大关键技术中，人机交互技术作为评估增强现实应用系统性能的重要指标，直接影响了用户的使用体验，特别是手势交互技术，能够解放用户双手，促进电力抢修人员与机器自然互动，提高作业效率。增强现实技术的运用能够改变传统电力抢修的作业模式，增强电力应急抢修作业的人机物协同感知能力与现场安全智能管控能力，引领整个电力工业朝智能化方向发展，因此研究面向电力智能抢修的增强现实交互具有重要意义和工程应用价值。

关键词：电力智能抢修；增强现实交互

1强化电力故障抢修作业的重要性

随着时代的进步和发展，社会生产生活的用电需求不断地增加，电力企业也在面临着越来越严峻的供电压力，同时一些新能源产业的衍生，进一步加大了社会对电力能源的需求，在这样的时代发展背景下，给电力企业带来巨大发展机遇的同时，也使其面临着巨大的供电挑战，为了社会的稳定以及电力企业的经济效益，必须要能够使供电质量和稳定性得到可靠的保障。电网运行中各种形式的故障问题成为影响电力企业发展的重要因素之一，因此必须针对故障抢修问题进行更加深人的研究。一旦发现故障，就要能够在最短的时间内调动最优质的资源来开展抢修工作，尽可能地提高抢修速度，从而将故障带来的影响降至最低。除此之外，在新时代下服务质量的提高对电力企业的发展也有着非常重要的作用，电力企业要能够建立一个以客户为中心的服务体系，从故障前、发生时到故障后提供全过程的故障抢修服务。

2面向电力智能抢修的增强现实交互研究

2.1增强现实技术

增强现实技术先通过计算机视觉相关的技术，对真实世界中的物体和场景进行信息采集，并对获取到的图像信息进行识别，如在基于标志物的增强现实系统中，当识别到目标标志物后，对目标物进行跟踪识别；然后，使用三维注册技术将虚拟信息和真实世界进行配准；最后，将虚拟信息和真实世界进行虚实融合并显示在显示终端上。增强现实的关键技术主要包含三维跟踪注册技术、虚实融合技术和人机交互技术。三维跟踪注册技术主要是在基于图像获取终端的基础上，对获取到的真实世界的图像信息进行检测并在图像中建立新的空间坐标系，从而方便与虚拟世界的坐标系进行配准来实现虚实融合。在获取到了真实世界的图像并对目标进行跟踪识别之后，通过将虚拟世界和真实世界的坐标系进行配准，利用空间映射关系将虚拟信息叠加到真实世界中对应的位置上。虚实融合技术是在跟踪注册和三维注册完成之后，将虚拟内容进行实时图形渲染并输出到显示终端之上。用户可以通过显示终端看到虚拟内容和真实世界进行虚实融合之后的场景，给用户带来沉浸式的体验。人机交互技术是当用户通过显示终端看到虚实结合的场景之后，通过语音、手势、硬件设备等方式和增强现实场景中的内容进行交互，是提高用户使用感和场景真实感的关键技术。

2.2电力场景构建

增强现实系统中针对虚拟模型的仿真构建需要追求尽可能高的逼真度以提高人机交互过程的沉浸感。对于三维建模，外形应尽量与实际物体相同，并且保证模型相关数据精度达到相应的准确性。此外，纹理也是体现模型逼真度的一个方面，对于大场景的三维建模，要避免整个地面或墙面只采用单独1张贴图，否则会降低模型的三维立体感，最好采用实地采集的纹理贴图，也可通过Photoshop软件进行图片加工修饰。对于变电站、配电房等大场景的建筑模型，可先根据实际CAD图纸设计的尺寸在Revit软件建好三维场景图。Revit软件是专门用于构建建筑信息模型的工具，能够记录创建的模型数量信息以及通过模型计算出项目面积、材料数量、所需劳动力等，并模拟施工。通过Revit软件可以直接导出为Unity3D可用的FBX格式模型文件，但是通过这种方式导出的FBX模型不具有材质，此时需要利用二手动制作材质球，为三维场景贴上必要的材质。还有另一种解决思路，首先从Revit软件导出NWC模型，再通过Navisworks软件导出具有设定材质的FBX模型。Navisworks软件是用于3D设计模型的模拟分析和可视化的工具，支持多种格式的三维模型。本文实验采用路线一构建电力场景三维模型。对于单一电力设备、应急机器人等这一类小模型，选择在3DSMax软件中进行建模，由于Unity3D和3DSMax之间在单位长度上存在100:1的比例，所以在3DSMax中设置其单位为厘米。在建模过程中，首先应对建模对象的空间结构进行分析，再根据不同主体类型，采用分块建模再组装的方式进行，最后直接导出为带有材质的Unity3D可用模型格式。实验基于Unity3D搭建的电力室内虚拟场景分别有二次设备屏组、10kV高压室开关柜。

2.3基于增强现实的手势交互系统

2.3.1虚拟手碰撞检测交互控制

基于MediaPipe手部关键点检测，可以实时获取手部21个关键点的位置坐标，再在Unity3D系统中利用三维小球构造手部关键点，将从MediaPipe获取的手部关键点坐标信息通过transform.localPosition组件变量转化为小球相对于父级的位置坐标，并实时赋值给小球渲染；基于Unity3D提供的Mesh类生成小球之间的圆柱形物体网格，构造出可实时变形的虚拟手基本结构，高度模拟真实手部形状。增强现实系统中的虚拟手将随用户真实手部姿态的变化而变化。在Unity3D系统的Hierarchy层次窗口处设置虚拟手的整体对象作为ARCamera的子级，则虚拟手的整体位置将相对于ARCamera不变，从而在增强现实系统中可以一直显示在用户可视范围内，而不会随用户摄像头视角的转换而偏离。人机交互控制通过虚拟手与电力设备的碰撞检测机制实现，本文通过虚拟手模拟了电力开关柜的手动分闸、合闸操作。

2.3.2电力应急机器人手势交互控制

为了能与增强现实开发环境Unity3D相互结合，实验将训练得出的深度学习模型权重参数保存为.ONNX的权重文件，以便在Unity3D中利用Barracuda库进行推理。ONNX是专为神经网络设计的一种开放的交换格式。通过Pytorch,TensorFlow等框架训练出来的模型权重可存储为ONNX格式，从而保证数据格式的统一，并且支持不同平台的调用和交互，实现不同深度学习框架和工具间的转移和部署。Barracuda是Unity3D平台中一种轻量级的跨平台神经网络推理库，在CPU和GPU上都支持推理运算，其神经网络导入通道就是基于ONNX格式创建的。将ONNX格式的模型文件作为资产导入Unity3D，然后在脚本中对其进行引用，再使用ModelLoader.Load()语句将其编译成可运行推理的模型。系统在Windows个人电脑上运行，采用两个USB摄像头搭配完成测试。其中一个摄像头C1；用于模拟电力应急机器人携带的摄像头实现增强现实跟踪注册，画面位于屏幕整个区域；另一个摄像头C2用于模拟远程监控摄像头进行手势识别，其手部识别画面及结果位于屏幕左上角。系统同时构建虚拟摄像头用于实时监控现场环境，画面位于屏幕右下角。通过手势识别实现电力应急机器人抢修灭火的运动控制。其中，forward手势对应机器人前进控制，right手势对应机器人右转控制，left手势对应机器人左转控制，backward手势对应机器人后退控制，wait手势对应机器人等待控制。在等待状态下，机器人能够打开灭火枪开关喷射灭火粒子，并与火焰粒子发生碰撞进而影响火焰的生命值，在有限的时间内累积粒子碰撞直到火焰的生命值降为0，从而完成整个灭火操作。

3结束语

电力应急抢修对保障电力生产运行的安全至关重要，通过增强现实技术能够辅助应急人员快速、高效和安全地完成抢修工作。本文通过对增强现实的人机交互关键技术及其在电力智能抢修的应用进行研究分析，开展了基于计算机视觉的手势识别研究，实现了基于数字图像处理技术、Kinect传感器以及深度学习三种方式的手势识别与交互，究成果。但仍存在以下不足有待进一步完善：本文重点研究增强现实人机交互技术并将其应用于电力抢修工作中，所设计的电力场景不够丰富，且只针对火灾这一特定险情作为应用案例，抢修流程尚不完备，没有去到真实现场进行实地验证，未来可以根据实际电力生产工作要求对基于增强现实的电力抢修培训系统做完善。

参考文献

[1]张小雪.营配贯通的电网故障智能抢修作业技术[J].电气技术与经济,2021(02):33-35.

[2]汪李忠,马利东,张强.基于配网抢修系统的自动化设计[J].电工技术,2021(06):100-101.