基于深度学习的多摄像头协同目标跟踪方法研究

基于深度学习的多摄像头协同目标跟踪方法研究

秦玲

（桂林电子科技大学信息科技学院，广西省桂林市541004）

摘要：目前，一般的公共安全监控系统采取在监控区域布设大量摄像头设备的方案，从而实现对大范围区域的监控。通常这些摄像头是离散的，并且拍摄的监控信息缺乏快速完善的整合机制，导致视频信息的处理仅基于图像，最终未能有效结合视频监控系统的空间位置信息。针对目前视频监控系统存在的不足，本文基于摄影测量学、GIS以及深度学习等理论方法，重点关注目标检测、目标定位以及多摄像头协同追踪三个方面提出改进方案，实现在多摄像头视频监控场景下的目标检测与跟踪。

关键词：深度学习；多摄像头协同；目标跟踪

1多摄像头协同方法

（1）基于位置的多摄像头协同

先通过图像坐标与平面地理空间的映射关系，获取目标在实际监控区域的具体位置。再根据目标位置、摄像头位置、室内监控空间环境等地理空间信息，制定协同方案完成多摄像头对目标追踪任务的接力。

（2）基于视觉特征的多摄像头协同

首先提取目标的视觉特征信息，例如颜色、纹理、形状、轮廓等，构建特征模型，通过特征检测实现多摄像头对拍摄目标的匹配，完成多摄像头的协同工作。

（3）位置与视觉特征结合的多摄像头协同

将目标的位置和视觉特征信息融合进行多摄像头协同可以得到更加稳健的结果，充分发挥以上两种协同方法的优势，同时互补了两者的不足，两种方法同时决策协同方案，适用于实际环境复杂的应用场景。

2基于深度学习的多摄像头协同目标跟踪方法

2.1深度学习框架

深度学习的发展使得许多性能优异的深度学习框架应运而生，其中应用较多的包括Theano、Torch7、TensorFlow、Caffe。Theano诞生于2008年，是最早的深度学习框架，主要开发语言为Python。Torch为Facebook力推的深度学习组件，接口为Lua语言，有较好的灵活性和速度。TensorFlow是Google推出的深度学习框架，被应用于Google检索、图像识别以及邮件分类等领域，具备灵活的移植性，可轻松地不熟到任意数量的CPU或GPU计算机、服务器或者移动设备上。Caffe已被广泛应用于工业界和学术界的前沿研究，其底层开发是基于C++语言的，支持Linux、Mac和Windows系统，也可部署编译到Android和ios移动设备上。Caffe包含五个组件：Blob、Layer、Net、Solver和Proto。

2.2多摄像头协同目标跟踪

在包含多个摄像头的传统监控系统中，由于这些摄像头拍摄的图像信息是离散的，如何整合这些离散的目标检测结果，选择拍摄视角最合适的摄像头承担目标跟踪任务，对于减少用户人工判读的工作强度、提升视频监控系统的智能化程度，都有非常重要的现实意义。基于以上亟待改进的问题，本文提出一种基于位置和视觉特征的多摄像头协同策略，通过筛选一个摄像头承担目标跟踪任务，实现多摄像头的目标交接，以持续对目标进行跟踪。

2.3多摄像头协同目标跟踪应用细节

2.3.1生成目标轨迹地图

根据多摄像头协同目标跟踪方法，可实现选择具有最佳的目标拍摄角度的摄像头承担目标跟踪任务。实际应用中，将正在执行目标跟踪的摄像头画面放大展示，便于工作人员实时追踪正在移动的目标。如何更直观地获取目标在监控区域所处位置，生成运动目标轨迹地图，对于正在进行的监控工作以及之后对目标运动事件的排查工作都是具有实际应用价值的问题，特别是对于一些无法公开的监控视频，可通过轨迹地图描述目标的运动情况，确保视频数据保密的同时，又能抽象地向用户展示目标的运动状态。本文设计的生成目标轨迹地图应用场景中，获取视频监控系统中所有摄像头拍摄的视频帧，基于FasterR-CNN目标检测方法筛选视频图像中包含目标的摄像头并获取当前目标的外包围框像素坐标信息，计算外包围框中心点作为该目标在图像中的位置描述，通过对应摄像头的图像与平面地理空间映射模型，将像素坐标转换为平面地理空间坐标，根据多摄像头协同方法确定一个摄像头承担目标跟踪任务，即可求解当前目标于监控区域的具体位置，实时获取目标的坐标时序序列，依据时序关系连接这些坐标，即为目标的移动轨迹，最后将轨迹标记到该监控区域的映射地图上。

2.3.2异常事件处理机制

当视频监控无人值守或以防工作人员遗漏异常事件的观察，传统的视频监控系统一般采用不间断录制的视频资料并存储的方式，且不进行有效信息的提取和分析，而存储长期视频资料需要大量存储空间，无法满足对长时间的历史视频资料的存储要求。鉴于传统视频监控系统缺乏智能处理异常事件的不足，本文将提出的多摄像头协同目标跟踪方法应用于在异常情形下可实现智能化预警的视频监控系统中该视频监控系统在面对异常事件时采用图像抓拍和异常事件分类存储的处理机制，根据用户需求，保存特定事件的视频图像并对该事件分类记录，减少了监控系统的存储负荷，同时保证了记录存储的图像信息及异常事件数据表对后续用户检索查看的价值。

（1）异常事件的设定

本文在监控区域设定警戒区域，当任何异常目标进入到警戒区域，视频监控系统将出发异常警报，同时存储异常发生的图像信息并记录异常事件生成数据表。设定警戒区域的方法包括以下两种：1）根据监控区域的实地情况，输入警戒区域的空间坐标信息。该方法需要用户熟悉监控区域，实地测量获取警戒区域处于监控地面的平面直角坐标，但此方法不受限于摄像头位置和视域范围，具有通用性。2）根据各个摄像头拍摄的画面，用户直接在监控画面上勾画警戒区域。该方法不需要用户实地考察和测量，仅需要获取各个摄像头的拍摄画面；但该方法受限于摄像头拍摄的视域范围，若摄像头位置发生变化，则需要重新勾画；若许多摄像头拍摄的监控画面都包含警戒区域，则需要用户逐个勾画，工作量大且通用性差。

（2）异常事件的存储记录方式

根据以上介绍的异常事件，若判定目标进入了警戒区域，将分别存储、记录两种数据形式：1）监控视频图像。监控视频图像以“摄像头ID_时间”的形式命名，并存储到本地。存储的图像将检测到的目标用外接框标出，并显示目标的类别名称。2）异常事件记录表。异常时间记录表包含的信息有：①摄像头ID②被入侵的警戒区ID③开始时间，即出现异常的时间④目标类别⑤存储的图片名称。异常事件记录表中，字段“异常事件ID”为唯一值且不能为空，若检测到多个目标，且均与警戒区域有重叠关系，则分别作为一条异常事件记录，对应的监控视频图片只标记该目标的外包围框，以及其目标类别名称。

3结束语

随着计算性能的提升，如何结合地理空间实现高效监控，正成为计算机视觉、摄影测量学和GIS等领域的研究热点。本文创新结合深度学习、计算机视觉、摄影测量学和GIS技术，实现了多摄像头监控系统协同目标追踪、获取目标实时定位以及应急处理异常事件。

参考文献

[1]刘胜男.基于多摄像头的视频跟踪系统研究与实现[D].辽宁大学,2017.

[2]谢文涛,卜方玲,程瑶.非重叠多摄像头协同目标跟踪方法[J].计算机工程与设计,2016,3703:809-813.

[3]许慧芳,许亚军.智能视频监控系统中多摄像头协同跟踪算法[J].电视技术,2015,3918:86-89+98.