首页 > 《防护工程》 > 2018年6期 > 基于大数据SparkSQL城市燃气输配监测数据分析方法初探

基于大数据SparkSQL城市燃气输配监测数据分析方法初探

在线阅读下载PDF 导出详情

摘要摘要SparkSQL2.0.X开始运用新的线程概念SparkSession，从而取代了原本的SQLContext与HiveContext，并更新了数据框架DataFrames。分布式文件系统HDFS可以为城市燃气数据提供稳定可靠的海量数据存储能力，而SparkSQL为其提供高性能的内存计算和数据分析框架。基于SparkSQL的城市燃气输配大数据分析，初步设计并实现通过分布式存储与最新的SparkSQL大数据计算技术，提升查询性能与系统可扩展性的方法。

DOI 0dpp9k7xd2/3726693

作者刘雪岭燕如庭王晓彤杨富元冯仁婕段云飞

机构地区贵州理工学院矿业工程学院安全工程教研室550003

出处《防护工程》 2018年6期

关键词 SparkSQL 燃气输配大数据数据统计

分类 [文化科学][]

出版日期 2018年06月16日（中国期刊网平台首次上网日期，不代表论文的发表时间）