学科分类
/ 1
5 个结果
  • 简介:摘要随着科学技术的发展,供电公司的数据量日益增加,很多存储和计算功能靠单台主机已无法有效运行。Hadoop作为云计算的一种开源分布式计算编程模型,为企业的大数据并行计算,提供了有效处理方法。本文在hadoop框架基础上,用4台主机部署hadoop集群计算环境,并用实例测试hadoop集群环境的并行计算能力。通过实验证明,Hadoop集群环境部署成功,且并行处理能力具有很好的及时性和准确性。该计算环境为以后分析和处理供电公司的用电采集系统、PMS2.0系统和调度OMS系统等大数据文件提供了很好计算平台。

  • 标签: 云计算 Hadoop 集群环境,并行计算
  • 简介:摘要对于以ZB为基本计算单位的大数据挖掘,提出了基于Hadoop的海量数据挖掘算法。通过使用高效的K-means算法与MapReduce分布式计算模型相结合,根据数据自身的相似度,将大数据进行分片、分组、聚类,得到预处理数据并写入Hadoop的HDFS中。利用Hadoop自身对海量数据的存储能力和并行计算能力,在MapReduce框架中融入经典的Apriori算法,可以降低运算时间,提高算法效率,得到所挖掘数据间的关联规则。

  • 标签: K-means Aprior Hadoop集群 大数据 关联规则算法
  • 简介:随着智能电网建设进程的加快。电能质量监测点不断增多,系统逐步完善。各种类型的监测和计算数据量急剧增加,呈大数据趋势。对于大数据的计算处理。云计算平台具有先天性优势。文章提出并初步实现了一种基于Hadoop架构的电能质量云模型,旨在整合传统计算存储资源,解决电能质量大数据的存储和计算问题。模型采用分层结构,以电网自然分层为基础,搭建分层电能质量云计算平台。整体采用面向服务的架构,各层以Hadoop架构搭建子云,并向上层主云提供服务。基于Hadoop架构的电能质量云模型不仅可以解决电能质量监测大数据的存储和计算问题,对解决智能电网中其他信息系统的大数据问题也具有参考意义。

  • 标签: 电能质量 智能电网 大数据 云计算 HADOOP SOA
  • 简介:大数据是当今IT重要的发展趋势。其发展将对电力企业的信息化建设产生深远的影响,而Hadoop作为大数据领域最有影响力的开源产品,被国内外各厂商广泛使用。随着电力用电信息采集系统建设的进展。不断增加的数据量使得传统的线损分析方法已经无法满足业务要求。文章通过并行计算技术,采用Hadoop平台实现台区线损分析系统的并行化改造,用以提升台区线损应用的计算效率。通过选取某省电力公司线损分析系统实际数据进行对比,实验证实新的并行线损分析系统性能远远超出传统0racle架构的线损系统,为未来并行计算技术在电量与线损管理系统的应用提供依据。

  • 标签: HADOOP平台 台区线损分析 并行计算
  • 简介:摘要近年来,随着智能电网的不断发展,电力数据结构越发复杂、数据量更加庞大。本文介绍了大数据Hadoop技术、分布式光伏发电、微网技术的基本概念与发展趋势。从大数据技术视角突出分析分布式光伏发电以及微网技术对智能电网的影响,后续应重点关注的技术问题、发展方向。

  • 标签: Hadoop 分布式光伏 微网 大数据