网络安全分析中的大数据技术应用

网络安全分析中的大数据技术应用

王军

天津市静海城市基础设施建设投资集团有限公司 天津市 静海区 301600

摘要：在社会经济水平和科学技术水平显著提升的背景下，电子信息技术逐渐被应用到工作与生活的各个方面，节约了大量的时间，创造出更高的社会价值，进而造就更高的生产效率。然而，网络在更高经济价值的同时，也产生了与之相对的危机。这些危机不仅包含现在已经显露出来广为人知的，更包含那些尚未出现却可能发生的隐患。大数据技术的出现有效地减少了危害的产生，并提高了网络的安全性。本文就大数据技术应用于网络安全的数据分析展开阐述。

关键词：网络安全分析；大数据；技术应用

引言

在互联网飞速发展的同时，也给网络安全分析工作带来了更大的困扰与压力。首先是网络安全分析工作所面临的处理数据的工作强度呈指数型上升，并且数据的规模是海量的，类型也是多种多样的，所以需要通过多个维度的分析才能够得到有效结果。同时面对着海量的、多种结构的数据在分析处理上的空间复杂度与时间复杂度也越来越大，处理时间越来越长，存储成本越来越高，传输质量越来越低，甚至丢失数据。为了解决上述诸多麻烦，将大数据分析技术融入网络安全分析。在引入大数据分析技术后，对计算机硬件要求不高，还能够减低存储成本，提高存储空间，提升传输质量并且减少丢包现象的发生，同时也能够处理半结构化数据以及非结构化数据，提高数据分析的精确度。

1大数据时代的特点

大数据时代，数据增长速度非常快，呈现爆炸式增长，其中任何微小，不起眼的数据都可能产生难以估量的价值。大数据的关键特点是“大”，已经过去的MB和GB单位，提升到了TB、PB甚至是EB单位，对数据的存储空间提出了更高的要求。在信息技术和网络技术飞速发送在的背景下，各项数据的增长速度日益加快，网络交互是数据形成的主要来源，这也是大数据形式多样化的主要原因之一，大数据好涵盖的类型包括：日志、图片、视频、音频、文字等。现代人的生活生产都离不开互联网，每人每天使用互联网，都会产生大量数据，大数据技术能够从海量数据中，挖掘出有价值大数据，再利用人工智能进行深度分析，便能发现新的知识，从而更好地应用在各行各业，为提升社会经济发展速度，提高生产效率，推进科学研究提供基础数据支撑。

2大数据分析技术应用研究

2.1数据采集

数据采集作为计算机与外部物理世界连接的“桥梁”，需要注意的是不同型号的数据采集困难程度相差较大，因此，在进行数据采集时应当将数据采集系统放置于有监控的地方，这样可以通过传感器对设备的电流信号等进行采样。当遇到一些零散的数据信息时，技术人员可利用大数据分析技术中的Ｆｌｕｍｅ和Ｓｃｒｉｂ等技术，将这些散碎的信息与数据搜集起来，以完成整个数据的搜集，从而建立一个数据库，这样一方面提高了人们的工作效率，促进企业更快更好的发展，另一方面也有利于充分利用这些数据，实现其自身潜在意义与价值。

2.2数据存储

借助大数据技术，可以对采集到的数据信息根据数据规模、种类等进行区分，以适合的存储形式进行存储，提升数据存储和查询的有序性和效率。例如日志数据等原始数据信息可以采用列式存储方式，从而大幅度提升数据查询效率。标准化处理后的数据应先进行分布式计算再进行列式存储，即时性数据先进行流式计算再进行列式存储。

2.3数据储存

随着互联网技术的不断提升，尤其是移动互联设备的普及，使得每天都会产生海量数据。而这些数据中有传统的结构化数据，也有非结构化数据乃至半结构化数据，如何储存这海量的数据是网络安全分析的工作者们需要解决的头等问题。大数据分析技术的引用当即能够解决工作者们的燃眉之急。上文讲到，引用大数据分析技术能够加快数据检索工作的效率和质量，意味着在同等的工作时间内，引用大数据分析技术能够更快更多的检索数据并且各个分节点也能够迅速给出反馈信息，加快比对并将海量数据分门别类的存储起来。也就是说利用大数据分析技术能够使得对海量数据处理的方式更加规范，处理规则更加统一，所得到的结果更加精确，最后把得到的各类新的数据分开存储到各个位置，等待数据挖掘与分析工作的进行。大数据分析技术的主要数据存储技术为是HDFS：HadoopDistributedFileSystem。HDFS是一个基于分布式文件系统。它有一定高度的容错性和高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS提供了一个高容错性和高吞吐量的海量数据存储解决方案。

2.4数据检索与分析

数据的检索是在数据分类存储的基础上进行的，通过对收集存储的信息进行分析，进而加工整合，从而使得使用者通过查找关键字的方式即可查询到所需数据信息。数据信息的分析是指对于收集存储信息的梳理和预判，可以分为对实时数据的分析和历史数据的分析。结合到网络安全问题，对于实时数据的分析可以分辨出当下传播的信息是否属于或可能成为网络安全问题。对于历史数据的分析，多采用分布式存储与计算的方式，对于历史数据进行深入分析，从而对当下或者即将要收集到的信息产生判断的功能，实施网络安全管控。

3大数据背景下计算机信息安全应对措施

3.1建立并完善大数据网络信息安全管理体系

大数据时代已经到来并快速发展，解决网络信息安全问题成为燃眉之急。近年来的军事泄漏事件也给我们敲响了警钟，大数据时代下的网络信息安全个人以及国家都要给予高度的重视。因此，国家在这一环境下应加快建立大数据信息安全管理体系，出台相关的法律法规，对不法分子起到震慑作用。除此之外，发达国家相对成熟的管理体系也值得我们虚心学习，通过对发达国家经验研究，不断完善我国已存在的部分管理体系和法律法规。同时由于大数据的运行范围极广，纵度极深，我们要从隐私保护和环境安全防护两个核心方面进行。

3.2网络安全防范机制

在网络安全分析工作中，需要利用大数据技术做好数据管理，充分发挥DNS记录等数据信息的作用，找到数据之间的关联性，准确定位病毒等安全问题出现的主机位置，通过系统化分析完善安全防护工作。以防范DDoS攻击为例，利用大数据技术搜集相关信息进行针对性分析，获得攻击源相关位置信息，通过查询获得准确的攻击信息，对得到的信息进行安全处理和分析，以攻击对象路由器为起点开展访问，完成对所有相关节点的访问分析。针对主机入侵的检测，可以利用大数据技术挖掘历史数据信息，识别攻击源的相关信息，查询日志数据库中信息，与恶意URL库进行比对，确认被入侵主机是否为新的攻击源。

结语

在移动互联网技术和计算机网络技术飞速发展的背景下，数据迎来了海量式增长，为人们生活生产提供了便利条件。但由于网络具有很强的开放性，网络安全问题一直存在，每年因网络安全也会造成大量的损失，将大数据技术应用到网络安全分析中，能够从海量数据中提取出不安全因素，及时制定有针对性的解决措施和方案，避免造成数据丢失、篡改、被盗等安全问题，值得推广应用。

参考文献

[1]刘春林,袁丹丹.网络安全分析中的大数据技术应用[J].数字通信世界,2018,161(5):196.

[2]杨敏，何海涛，赵琼.流量大数据安全分析平台的设计与实现[J].通信学报，2018，39（S1）：104-109.

[3]梁振轩.网络安全分析中的大数据技术应用[J].IT经理世界,2020,23(1):75.

[4]柴志成 , 霍立文 , 秦晓波 . 基于云计算的大数据存储安全分析 [J]. 电脑迷 ,2018(16):61.