即时通信系统中音视频处理技术研究

即时通信系统中音视频处理技术研究

  杨胜江

天津德力仪器设备有限公司 天津 300392

摘要：随着网络的快速发展，各种即时通讯工具的功能也越来越完备，不仅有了文本聊天的能力，还有语音通话、视频会议、点对点的数据传送等作用，因此，对通讯业务的品质有了更高的需求，也是评价IM系统综合性能的一个关键因素。本文提出的方法可以广泛地应用于多个场景，通过交互研发平台结构和功能运行，可以实现海量用户同时在线传输，克服音视频数据点对点数据传输、音视频同步等不足，利用UDP协议、RTP/RTCP协议，可以很好地减少网络时延，减少CPU占用，有很高的实际应用价值。

关键词：即时通信系统；音视频处理；UDP协议；RTP/RTCP协议

引言

在目前的即时通讯系统中，包含了两个方面的内容，即：通讯协议和音频视频处理架构。从声音视频处理技术的应用来看，可以很好地解决音视频播出不同步、图像卡顿等问题，保证系统的正常工作。从系统的工艺原则和信号传送的需要来看，音频和视频的处理需要遵守相关的实时通讯协议，并且在满足具体的编程要求的同时，也要考虑到音频和视频通讯的现实需要。在通讯实施流程上持续地进行优化，牢固地抓住即时通讯中音频与视频的核心环节。利用已有的传输信道，对音频和图像进行处理，并在已有的信道上搭建对应的链接，为实现有效的跨平台数据传送奠定了坚实的基础。

1、即时通信协议内涵

即时通信协议要求实时通讯依照一定的规格进行，并承担使用者传送信道的协商，以及控制客户端与服务器之间的通讯传输。即时通讯是一种新兴的传送方式，在传送过程中必须遵守一定的规则。从即时通讯的定义来看。此外，即时定位技术还要求在多个测点上实现信息的传递，因此，良好的信息传递信道是保证信息传输品质的重要保证。相对于其它通讯体制而言，在讯号传送之前建立完备的协定是传送的重要步骤，从而大大提高了生产效率，满足即时通信操作需求[1]。

2、跨平台传输中即时通信系统音视频处理的解决方案

本文主要分析音视频数据点对点传输。

2.1数据传输的不足

在即时通讯技术中，大部分的使用者使用的是路由器代理，这部分使用者不能直接进行对等通讯，因此必须使用公用IP来帮助使用者之间进行点对点通讯。随着互联网的快速发展，具有相同地址的多个计算机可以共用公共IP，一般都是先在私有网上建立一个连接，然后通过地址变换将分组传送给公用公共网服务器。一旦建立了联系，就可以进行数据的传送，NAT装置可以将数据传送给公共网络，但是不能进行逆向传送，这与实时通讯中多个私有网互联、音视频跨平台传输的要求不符，所以UDP跨越NAT问题是一个必须要解决的问题。实质上，在点到点音的影像传送中，NAT仅能提供一位使用者的通话请求，并不支援点对点的即时交互；具体体现在以下几个方面：一是内部网的网络主机IP是保密的，其它终端很难访问到。二是如果内部网络的位址是确定的，NAT就会放弃不在阴影表格中的分组。三是当两台主机都处在NAT之后，为了实现点对点的连接，也要处理好彼此之间的对应表条目。

2.2基于UDP协议的解决方案

在即时通讯体系的支援下，使用者处于NAT的后面，如果NAT的型态是对称的，就很难透过NAT，这个时候就需要通过转接服务器来进行数据的传递。但是，目前我国有很多的电信公司，而且各个电信公司之间的通讯速率比一个电信公司要低。针对这种情况，可以建立一个网络模式，在各个操作中隔离一个服务器，让多个版本访问的用户可以进行跨平台的数据传送；过程如下。

(1)假定甲、乙之间有音频、影像资料传送，可以首先进行NAT渗透，如果几次都没有效果，则可以开启一台第三者伺服器；协助用户（4）中的数据传送。

(2)A、B对所建立的服务器进行网络速度检测，向即时通信服务器发送检测结果。

(3)即时通讯伺服器比对两台转接伺服器所得之检验数据，将资讯传送至比较低之伺服器，再由中央伺服器通知二位使用者传送之传送结果[2]。

通过以上过程的运用，不仅可以提高同一运营商下的用户的传输速率，而且即使是来自不同的运营商，也可以使用具有比较快速率的转接服务器来实现音频和视频的传送。

3、音视频同步分析

3.1音视频同步的不足

在使用即时通讯软体举办视讯视讯时，必须遵守声音优先的准则。在这种情况下，为语音、图像等不同的数据流建立独立的通道进行传送，保证了每一种介质的QoS需求，并且可以分别进行各自的控制。普通的视频档案都比较大，即使进行了压缩，也还是含有大量的资料，对于播放环境的需求比较高，而声音资料则比较少。即使在不理想的情况下，仍然可以保证声音的流畅传输，但是很容易产生声音和图像不同步的问题。在这种情况下，如何让两个用户之间的数据保持一致，即跨介质的数据传输，就成了实时通讯的一个关键问题[3]。

3.2在RTP/RTCP基础上提出的一种解决方法

在实时通讯软件中，利用RTP中的时标实现了语音与图像的实时同步。从技术角度来分析，造成音频和图像不同步的因素主要有两个方面：一是由于用户对音频和视频信号进行了处理，这就要求对数据进行解压、处理和重放，因为音频和视频的数据量不同，编码算法也不同，所以很可能会出现语音信号比相应的图像还没有出现的情况。二是由于网络传输距离和节点处理速度等方面的差异，在网络传输被阻断之后，媒介信息将不能持久地传输，特别是难以保证海量的视频信息的连续传输。造成不同步的介质流，见图1。

图1网络传输时延引发媒体失步

针对介质丢包问题，从收发两个角度出发，通过对信源的语音、视频帧进行同步传送，从而达到同步获取、传送的目的。然而，若网路传送时延呈现显著的不稳定现象，则需在接收方增设缓冲装置，以降低因传送造成的干扰，确保系统可以在同一时间完成对音频和视频的同步传输，实现对视频流的实时监控，并较好地解决了音视频同步问题。RTP是一种即时的数据传送方式，通过RTCP来实现相关的业务，而不必对其进行严格的业务处理。通过RTP/RTCP实现音频和视频的跨平台高效的跨平台传送。在RTCP协议中将分组分组，实现Qos监控。在RTP对话时，当通讯双方传送含有数据包和丢失包的RTCP数据包时，可以提高数据的传输速度。将两者结合起来，提高传送的效率[4]。

结论

总之，即时通信系统中的音视频处理技术持续升级，具有开放源码特征。在本系统的设计和使用过程中，为了改善语音、影像资料的处理结果，达到视听的同时呈现，就必须要把握住即时通讯的内容。同时深入理解音视频技术架构，持续地优化多个平台上的音视频同时传送的实施流程，使得音视频的处理更贴近实际需要。

参考文献

[1]摆云.基于Android开放平台和无线通信网络的实时音视频传输系统设计与实现[D].兰州大学,2023.

[2]李向荣,祁峰,段文政.基于融合通信技术的新型警用即时通讯方案研究和实践[J].警察技术,2022(3):41-42.

[3]龙令曼.即时通信软件中音视频数据在互联网上传输的分析与研究[D].贵州大学,2022.

[4]陈妍,张凯.浅析跨平台的即时通讯音视频解决方案[J].通讯世界,2020(6):33-35.