基于以太网的系留无人机图像传输系统

基于以太网的系留无人机图像传输系统

张倬洋,藏天祥,叶初石,冯雪茹,唐李

大连交通大学

目前市面上的系留无人机可通过地面发电机进行供电，多可实现24小时全天候滞空，72小时不间断工作，100-200米定点悬停，广泛适用于救灾抢险、边界巡视、公安反恐、交通监管、新闻采访、工程监控、环境监测、影视拍摄、科学研究、国防军工等多个广阔领域。无人机系缆是一种动力/信号复合缆线，通过系缆光纤保障平台与地面设备之间电子信号的连接传输信号的过程中难免会出现数据传输速率低且图像质量不佳等问题。

基于FPGA的千兆以太网数据传输系统，利用FPGA的高速度、低功耗、多线程、实时性等优势，实现视频的以太网高性能传输。系统以大容量 FPGA 为控制芯片，利用Verilog HDL硬件描述语言设计UDP/IP协议核心模块，通过以太网接口的高速摄像头采集拍摄到的视频图像数据，随后将图像数据根据接口传输到机上端的FPGA上，由FPGA进行数据的处理，随后发送到光模块上通过光纤传输至地面端。地面端的光模块接收到数据之后，上传到地面端的FPGA上，随后通过地面端的FPGA通过以太网模块上传至以太网。使系带无人机在供电稳定，重量不改变的前提下图像传输更加高效快捷，图像更加清晰，增加模块可移植性。

无论是自然灾害还是地理偏僻，对于通信顺畅的需求，都十分迫切。然而，要想迅速、便利地提供应急通信，或是中继通信，并非易事。现如今无人机产业发展迅速，各型无人机产品应用广泛。凭借机动性、简便性、易操作性等优势，无人机可以很好地承担应急通信任务，在辅助灾害救援方面大有用武之地。利用无人机来提供通信服务，信号会更为稳定，覆盖范围也更广阔，更不用受地形条件、道路状况等因素限制，能够快速在灾区构建临时通信网路，满足救灾、联络等需求。但如何保证在不牺牲系留无人机轻量化结构的前提下，使其图像传输能力得到进一步改善，图像质量得到有效提高且可多线程运行监视，是亟待解决的问题。

在不同传输介质中，以太网所能发挥的性能不同。对于数据量较小、速度要求不高的情况，采用双绞线、同轴电缆等介质，价格相对便宜；而对于速度高、数据量大的情况，采用光纤等传输介质；在系统采集数据量相当大并且数据来源复杂的情况，利用 FPGA自身数据并行和流水线并行兼备特点进行低延迟数据采集与传输，并采用光纤作为传输介质可以大大提高传输系统容量。目前,大多数视频处理设备采用CPU或GPU作为核心处理器,无法满足对多路超高清视频处理时的实时性要求,且成本较高。针对当前视频技术的研究现状,并结合实际应用场景,基于FPGA的千兆以太网数据传输系统将其搭配在系留无人机上，可实现无人机的多线程拍摄和高速物体移动的捕捉拍摄，随后上传至以太网。

此系统的目标是在系带无人机因供电方案，飞行悬停等一系列限制下进行图像的传输、处理等过程中对于实时检测延迟高、视频质量差，传输成本较高且传输带宽、处理速度较慢的问题而设计的，具体目标如下：

(1)图像数据打包处理

此系统在图像数据的打包处理上要完全的满足网络通讯的TCP/IP协议，完全的根据TCP/IP协议的内容来完成图像数据的打包处理，否则，数据将无法在以太网中正常的发送、传输、接收。

(2)图像数据传输

图像数据的传输阶段要完全满足网络通讯的TCP/IP协议，同时在此基础上，最大限度提高数据传输速度、传播速度、尽可能减少传输时延与传播时延。

无人机平台早期主要选用大中型固定翼无人机和无人直升机作为高空基站平台，这些平台虽然载荷能力强、飞行高度大、飞行距离远，但同样存在着体积大、系统复杂、维护保养复杂、训练成本高、回收条件要求高、操作灵活性不够、需协调飞行空域、尤其是定点指挥滞空时间短等诸多限制，这些不足决定了其很难在应急平台应用中得到广泛推广。

无人机自2007年开始大量进入国内市场，民用无人机应用随之展开，2009—2012的无人机主要以飞控系统为核心，随着技术的发展，到2012—2014年无刷云台、WiFi图传，一体机设计凸显优势；到2015年视觉悬停辅助装置，高清成像相机得到了广泛应用。目前国内共计有三百余家公司，无人机逐渐拥有环境感知、视觉追随、自动避障、精确视觉悬停辅助系统。

一般来说，高度是影响无线通信覆盖范围的主要因素，普通应急通信车虽也具有保障临时通信能力，但与无人机中继通信相比，服务范围较小，信号不够稳定。所以利用无人机搭载通信设备升空，可改善地形等因素造成的限制性影响，获得更好的通信效果。

目前国内外对于数据的高速捕捉与上传都处于瓶颈阶段，由于视频的数据量过大，加上高速捕捉的话每秒的帧数过多，如此庞大的数据量是现在技术来说相对难于捕捉的，目前技术往往无法处理这样的数据量。

一方面，摄像头需要捕捉如此大量数据，大部分摄像头都无法处理掉如此庞大的数据量，需要特殊的摄像头来进行处理。另一方面，摄像头的数据的上传较与艰难，视频数据如果在以太网进行上传，必须满足tcp/ip协议的同时，也要加快速度，达到足够的要求，有待于继续开发。

近些年来，根据一些国内外公开发表的文献，在基于FPGA的千兆以太网的数据传输的研究与应用方面，国内外各机构已有了一定的研究成果。南京信息工程大学王胜杰和王建的基于千兆以太网的PC机与FPGA的高速数据传输，使用WinPcap自定义通信帧格式，实现PC机与FPGA之间双向高速数据传输的方法。但该研究绕过了TCP协议和IP协议，只涉及到链路层和物理层，与标准的千兆以太网接入系统无法很好结合，只能面向特殊应用。

此系统的目标为解决系留无人机对高速移动物体的高精度拍摄以及迅速向以太网上传，结构分为机上端和地面端。通过机上端1000BASE-TPHY接口的高速摄像头采集视频数据，随后将数据发送到FPGA上，再由FPGA将数据传输至光模块，通过光纤传输至地面端。地面端的光模块通过光纤接受到传输过来的高速图像数据，并上传至FPGA，FPGA接受到该数据后，由光模块上传至以太网。

（1）机上端

机上端主要需要做数据的采集以及缓存，系统整体通过采用1000BASE-TPHY接口的高速摄像头采集视频数据，采集到的视频数据经过FPGA处理后，经过光模块把电信号转化为光信号进行传输。

（2）地面端

地面端接受到机上端通过光模块发送的数据，将数据打包发送到以太网交换机上，传入以太网。

（3）TCP/IP主要分层

TCP/IP 协议模型分为应用层（负责实现一切与应用程序相关的功能，对应于OSI 第5到7层）、传输层（负责提供可靠的传输服务，对应 OSI 第4 层）、网际层（负责网络间的寻址数据传输，对应 OSI的第3层）和网络接口层（负责实际数据的传输，对应 OSI的第1层和第2层）四层。

面对日益增长的数据流和多媒体服务，大容量、高速率、多功能模块高端网络产品的市场规模将不断扩大，以太网的出现能够很好地满足这一市场需求。FPGA在高速数据信号采集、处理具有最为显著优势，且集成度高，功耗低，编程配置灵活。尤其在网络方面可以发挥出极大优势，例如最新的5G等方面。对此，在高速视频传输上采用FPGA实行的图像上数据传输绝对为不二之选。

FPGA的并行处理能力远优于嵌入式处理器，因此在处理大量数据时相较于处理器有较大优势。本项目中摄像头及以太网接口均采用并行接口，易于FPGA处理数据和发送数据，无需专用的摄像头接口和以太网控制接口，同时降低了硬件电路的复杂度。但FPGA较难实现复杂的网络协议（如TCP），对网络环境的要求较高，限制了其应用场合，本项目中采用专用网络接口进行通信，网络环境可以保障。