简介:大数据分析是检查具有各种类型的大量数据并快速生成以识别隐藏模式、未知相关性和其他有用信息的过程。在现代汽车集团的研发中心,有许多类型的机器能够以前所未有的规模生成数据。作者开发了一种名为VDMS的车辆信号采集设备。这种类型的传感器每天在大数据系统上存储超过1TB的数据。因此,分析不断增加的数据量和高速流传感器数据的能力是必不可少的。本文研究了传感器数据的分析方法,首先,建立了从信号数据相关性分析到分类模型的分析过程,并开发了针对信号优化的分析方法。另外,提出了一种将异常信号数据形成图案并检测特定图案的方法。
简介:摘要目前,网络安全防御技术功能单一,防御能力低1,不同的安全技术只能相应解决一个问题,难以满足安全防御的需求。基于此,提出基于大数据分析的网络安全防御技术设计。网络安全方面,要综合分析信息内容安全和物理安全两方面,确保网络中的物理安全,并保护信息安全,避免信息遭受破坏或者泄露。通过建立网络安全数据库,分析网络数据,形成数据安全策略,构建预警体系,实现基于大数据分析的网络安全防御。通过建立合理的网络安全防御措施,保障信息不被窃取、破坏,为计算机网络安全和数据信息价值发挥提供重要保证。以下是大数据时代计算机网络安全防御技术的具体设计过程。
简介:传统基于在线学习的网络浏览行为数据分析平台,缺乏大数据分析能力,无法挖掘和管理用户网络浏览行为,分析效率较低,具有一定的局限性。构建基于分布式集群的网络浏览行为大数据分析平台,平台总体结构由视图层、控制层、服务层、数据持久化层和数据层构成,使用分布式存储系统HDFS与分布式计算系统Spark组成的分布式集群存储和管理网络浏览行为产生的数据,通过数据上传流程将海量网络浏览数据源存储到分布式存储系统HDFS中,在Spark分布集群内运算数据挖掘任务,利用决策树ID3算法准确挖掘网络浏览行为。实验结果说明,所设计平台各项功能符合预期结果,平台进行数据源管理、用户行为分析的整体响应时间比基于在线学习的网络浏览行为数据分析平台低508.25ms、836.5ms,说明所设计平台具有较高的网络浏览行为大数据分析效率。