数据分析技术在网络领域中的应用

数据分析技术在网络领域中的应用

弓昕  ,张凤芝,闫星宇

北方自动控制技术研究所 山西太原 030006

摘要：近年来，随着科技水平的不断提高，以及智能化设备的普及推广，网络环境呈现出结构复杂化、信息数据海量化、数据传输高速化发展趋势，为用户提供了优质的多元化网络服务，对社会发展水平的提高起到了积极影响。与此同时，传统网络安全分析技术难以满足实际需求，致使用户隐私信息窃取、分布式拒绝服务攻击等网络安全事故频频出现，造成严重经济损失与极大社会负面影响。在这一背景下，大数据技术是构建现代化网络安全隐患精确识别与快速预警机制的关键技术，也被一致认为是网络安全分析体系的未来发展趋势。基于此，文章对数据分析技术在网络领域中的应用策略进行了研究，以供参考。

关键词：数据分析；网络领域；应用策略

1平台实现关键技术

1.1数据采集技术

数据采集是通过使用Scribe等软件对系统运行期间持续产生的各类数据进行分布式采集、统计和在线分析的一种技术手段，所采集信息有着时效性、完整性与真实性特征，为后续网络安全态势分析、安全漏洞识别、攻击路径推演等工作的开展提供信息支持。在应用数据采集技术时，需要根据网络安全分析需求，采取对应数据采集方法。

1.2数据存储技术

在网络安全分析平台中，数据存储技术负责将所采集各类数据信息根据属性导入至对应数据库中进行存储保存，数据存储系统由一定数量的数据块加以组成。在依托大数据技术建设网络安全平台时，采取全新的HDFS数据存储技术，其属于分布式文件系统，有着高容错性以及高吞吐量特征，基于程序运行准则，自动将所采集小数据文件根据属性加以分类整合处理，直至数据文件大小达到默认数据块的存储单位要求。同时，在HDFS系统中同时搭建HBase数据库和Sqoop数据库。

1.3数据分析技术

新一代网络安全分析平台常用的数据分析技术措施为两种：通过搭建MapReduce模型对大规模数据集加以并行运算，凭借该模型所具备的优异数据计算与任务调度能力，可以高效完成作业初始化、数据划分、任务分配协调等操作任务，以及实现对HBase表数据的并行批处理目标；通过Hive手段完成数据统计分析任务，采取HiveQL语言实现非结构化数据快速查询功能，网络安全分析平台在运行期间可以凭借Hive系统执行API封装操作，使用插件定制开发功能来统计分析各类数据。此外，为强化平台网络安全事件关联分析能力，还可组合应用CPE技术手段，以网络安全事故类型为划分依据，在数据分析系统中同时建立一定数量的事件关系序列库，判断各项事件间的关系。

2数据分析技术在网络领域中的应用

2.1 在无线网络中的应用

2.1.1故障监测

通过大数据分析技术来进行故障监测，主要是分析通话记录、测量报告和带宽趋势等数据来对设备故障和用户异常等网络故障问题进行解决。例如:当用户在通话过程中突然发生中断的问题，解决这种问题时一般会采用网络仿真或者路测等方法，路测需要消耗大量的时间和费用，网络仿真所获得的结果并不可靠，所以可利用大数据分析的方法，通过对运营商储存的网络测试数据来对网络覆盖进行优化。实践过程证明了网络覆盖分析的方法具备更强的精确程度，通过运营支撑系统来获取网络测量数据，通过大数据来处理OSS数据，从而实现更加高效率的网络优化。通过下行覆盖自优化算法来分析数据，对网络性能进行记录，对异常区域进行定位，以此为前提来对天线参数进行调整，从而有效提升下行覆盖性能。这种方法对于运营商而言是更加高效的，且投入的成本和时间较少。蜂窝网络所具备的自愈能力，能够对网络性能的故障进行精确定位，并能够自动恢复，确保实现高质量的通信。这种自愈功能能够及时地调整相关参数，从而避免出现较大的系统性能损失，避免过多的人力、物力投入。为了提升服务质量，应该在规定的时间段内实现系统自愈，因为在数据上有着一定的限制，所以可利用大数据分析技术来妥善解决系统问题。

2.1.2流量监控

蜂窝网络的速率较高，能够满足人们的媒体业务需求，并能够通过更大容量和更高性能的服务器来对流量进行分析和监视。近些年，人们对数据分析的需求持续增加，所以这种方法的局限性较大。将网络流量监控分析系统设置在蜂窝网络中心，实现数据量的有效处理，不但有着较高的性能且花费的成本较低。同时，通过流量框架的设立来达到流处理和批处理的效果，流处理可实现对端口宽带相关参数分析，从而更加有利于网络监视活动的开展。批处理是对用户进行批量的流量处理，并能够对异常情况进行有效监测，及时地识别出异常行为。

2.1.3缓存处理

在缓存中，对于大数据分析技术的应用主要包括带宽分配优化、热点内容跟踪以及5G网主动缓存等。5G网主动缓存是以大数据分析技术为基础来建立的缓存机制，主要功能在于对5G内容流行程度进行预测。在对用户流量进行收集后，对其中的有用信息进行提取，接着采用评估前收集的原始数据流行程度，以基站获取的真实数据为基础来进行实验。这一机制具备了优化用户体验和提升缓存性能的效果。社交网络包含了大量的用户。用户一般会在具备共同爱好的群体当中进行多媒体的分享。一些热点新闻会吸引很多人的关注，所以会在网络中获得迅速的传播，这时会增加网络负载，请求内容需要通过服务器来按照网络路径传播。可通过对社交媒体以及热点新闻的监控来对数据进行分析，了解人们对哪些内容感兴趣，并按照类别来进行热点数据缓存，通过大数据分析技术来让用户更加迅速地缓存内容，减少网络的负载。随着用户量的增加，对于带宽的分配以及服务质量的提升是非常重要的。蜂窝网络能够为用户带来随时连接互联网的服务，利用动态带宽分配算法来让用户对基站的无线信道进行共享，通过分析用户数据网络来将其划分到多个集群中，从而实现带宽的共享，让网络的资源利用效率得到提升，使得内容的分发速度获得提升。

2.2在光纤网络中的应用

2.2.1网络优化

路由和波长分配算法在光纤网络中有着十分重要的作用，这种算法的应用主要以线性规划模型和分层图模型为基础，通过大数据分析技术的应用来对该算法中存在的问题进行解决。在计算机中进行路由和波长分配算法的独立运行，对需求序列进行处理，从而在较短的时间对更多数量的需求序列进行评估，选择一个更好的解决方案。

2.2.2流量预测

因为出现了更多的新服务，所以对网络有着更高的要求，那么对于运营商而言就需要通过动态的方式来应对预期流量。如果采用网络超供应来处理，则会增加总成本。如果基于阈值来进行重新配置，则有利于节约功耗。缺点在于需要安装的光转发器数量没有减少。通过大数据分析技术来进行的方案重构，就是在路由器中进行流量监控数据的定期收集，所有的边际路由器都是为了其他路由器来进行流量样本的收集，并储存到数据库中。按照预定时间来对监控数据进行定期检索，并执行数据流挖掘。相比于静态方法，通过应用大数据分析技术，虚拟网络拓扑方案能够减少光转发器安装数量，并能够在低流量时停用转发器，达到节能的效果，通过释放光路来有效降低成本。

结语：

综上所述，大数据分析技术在网络领域中的应用多种多样，通过这一技术，用户可以对网络中的日志信息、流量信息、系统信号等进行收集，充分挖掘数据背后潜藏的巨大利用价值，来获取更高收益。在日后网络领域应用大数据分析技术过程中，需要特别注意数据安全、物联网节点部署等内容，促使大数据分析技术在网络领域得到更为有效的应用。

参考文献：

[1]黄晓宇.大数据分析技术及在数字出版领域的应用[J].中国传媒科技,2020(3):123-125.

[2]吴振田.基于云计算的电力大数据分析技术与应用[J].通讯世界,2020(6):93-94.