自然资源大数据挖掘分析关键技术研究

自然资源大数据挖掘分析关键技术研究

杨丹1, 郭晓雪2

内蒙古自治区测绘地理信息中心内蒙古自治区呼和浩特市010020

摘要：由于自然资源在空间分布上不均匀，利用大数据技术可以快速从各类大数据环境中得到所需要的数据，从处理数据的基本流程的角度来看，大数据与传统数据没有明显的区别，大数据与传统数据的主要差异在于大数据的数据获取途径十分多样，数据种类丰富，数据量巨大。自然资源数据本身就具有非常高的实效性，并且通过多年的自然资源数据的积累，自然资源数据量丰富，有遥感图像、测绘地图、文字记录等多种形式。自然资源数据所具备的特点符合大数据技术的各项要求，可以通过将大数据技术应用到自然资源的监测和分析中，建立有效的自然资源监测和分析体系，优化自然资源监管效率，提高自然资源的利用率。

关键词：自然资源；大数据平台；数据挖掘

在物联网技术的快速发展，促进信息交流方便快捷的同时，也会产生大量的数据，如何发现并利用隐藏在数据背后的知识，已成为目前相关研究领域的重点研究课题之一。也可以将数据挖掘称为数据库内知识提取，是某种意义下的自动挖掘数据模式，众多不同的模式则代表隐藏在数据库中存储的其他知识数据。因此开始探索和开发特定应用领域的数据库系统，如多媒体数据库、工程数据库、统计数据库等，根据不同种类知识特征从大量的数据中提取出有用的知识，已成为现今科学研究的必要前提。自然资源大数据是自然资源信息科学管理系统的重要组成部分，也是信息科学、管理研究的重要内容之一。

一、概念

大数据时代，各种先进技术在自然资源数据处理中得到了有效应用，其中的数据整合方案，主要是利用数据转换和通信，达到数据结构和数据内容统一的目的，实现分布式异构和全方位的共享，其空间和时态是并存的，有效消除信息孤岛，且具有一定的行政保密性，存储量也是非常大的。自然资源数据整合过程中，需要打通内外各应用系统的多源异构数据，完成数据清洗和数据关联等工作。自然资源一体化数据管理主要是通过数据地图和关联图谱等，然后合理应用数据中台，实现对资源和数据的数字化处理、对资产服务和服务业务等的统一管理。因此，为加强平台和技术的有效应用，要从其概念出发，对多类型和多结构空间的属性进行综合分析，保证自然资源数据的有效性。

二、自然资源大数据

将大数据应用到自然资源的日常管理中，是我国的实际国情所决定的。以往我国的自然资源管理体系松散，有关自然资源的部门繁多，各个部门之间的数据无法有效共享，造成了自然资源无法被高效管理和利用。日前，国务院机构改革方案落地，组建新的自然资源部统一管理国土、海洋、森林、矿产等自然资源。大多数自然资源的调查、开发利用空间规划以及监管均由这个新部门负责。自然资源部正式组建解决了数据共享的体制问题，以自然资源部为依托可以有效的将国土、海洋、森林、矿产等自然资源有关的数据相互整合。自然资源数据形式多样、分布分散、数据量巨大，有着极高的潜在商业价值。通过大数据技术可以将多种类型、不同来源的自然资源数据有效整合，并发掘海量的自然资源数据深层信息。将大数据应用到自然资源中，从政府层面来说，可以提高政府在自然资源方面的决策能力，优化自然资源的监管，提高政府的服务能力。从市场角度来说，可以更加显著的提高自然资源市场的活力。自然资源大数据是目前自然资源领域的前进趋势。

三、自然资源大数据平台建设

1、整体架构。自然资源大数据平台技术整体架构分为5 个层次：数据源、数据存储、分析计算、数据展示和用户层。数据源部分表示各种来源和不同种类的资源资源数据，并利用DataX、DbSync 和Timetunel 技术将自然资源数据快速传递到下一层。数据存储部分是对各种自然资源大数据进行存储，在数据存储过程中主要使用关系型数据库MySQL 和存储集群Hadoop Hbase。分析计算部分是指在这一部分，利用统计分析、数据挖掘、深度学习以及GIS 等多种计算分析手段对数据进行系统、全面的分析。数据展示部分将数据的分析结果通过各种方法传递给用户，用户可以通过数据展示部分查询数据及数据分析计算的结果。用户使用需注册账号，每个用户只有唯一的账号来获取数据。用户层指自然资源大数据面向的各种类型的用户。

2、大数据评价分析

（1）自然资源数据统计分析。自然资源数据统计分析利用不同种类的数据处理方法对自然资源数据进行分类、统计、分析、评价等，不但从宏观上反映自然资源数据的数量信息，也从客观上展现了自然资源的各种特性。自然资源数据经过统计分析后可以使原本杂乱、无规律的数据被相互整合，对外显示出一个统一的信息。用户可以在原本庞大的自然资源数据中得到所需要的那一部分自然资源数据。

（2）自然资源数据挖掘。自然资源数据挖掘就是从自然资源数据中提取潜在的、有应用价值的信息的过程，提取出来的信息可以与自然资源相关也可以与自然资源无关。自然资源数据挖掘的方法包括自然资源数据聚类、自然资源数据关联规则等。利用自然资源数据挖掘的方法可以从蕴含着各种信息的自然资源数据中发现相关规律并分析相关的内涵。自然资源数据挖掘可以为有关自然资源重要的决策提供技术支撑、数据支持。

3、关键技术。首先是自然资源数据标准的统一。自然资源大数据平台建设的关键是数据的整合、交流。由于过去各个关于自然资源的部门相互独立，各个部门之间数据没有一个统一的标准，不同部门的数据格式各异，这给自然资源数据的融合造成了极大的困难。自然资源大数据平台建设的第一步就是统一自然资源数据的标准，这是自然资源大数据平台的关键部分。只有先统一自然资源数据的标准，才能使庞大的自然资源数据统一到数据库中互相融合，也便于集中管理。其次是加强企业的参与。自然资源大数据平台的建设离不开企业的参与，企业是市场经济的主体，而市场在资源配置中起着决定性的作用。只有有效的利用企业在自然资源大数据方面的技术优势，通过各种方式让企业参与到自然资源大数据平台的建设中来，才能更好地完善自然资源大数据平台。同时还应该注重企业、社会、政府之间自然资源数据的交流、共享，充分利用如快递、电商等网路平台的空间位置数据，丰富自然资源大数据平台的数据来源。企业的有效参与，可以帮助自然资源数据得到更多更广的应用，同时加速自然资源大数据平台的建设。最后是成果的管理和应用。自然资源大数据平台的建设是由政府主导企业和社会各界共同参与的，自然资源大数据平台的成果也是由政府、企业及社会共享。由于自然资源数据的特殊性，自然资源大数据平台应由政府统一管理，政府拥有自然资源大数据平台的所有权限，充分发挥自然资源大数据平台的优势帮助政府制定自然资源的相关政策, 同时向市场和社会公众开放部分自然资源大数据平台的权限，积极探索自然资源大数据平台的商用可能。

随着自然资源数据的积累和各种自然资源数据分析手段的发展，自然资源进入到了大数据时代。将大数据技术应用到自然资源中可以有效的提高自然资源数据的管理效率，降低管理成本。开展自然资源大数据建设技术研究，对各种自然资源数据进行收集、整理，探索自然资源大数据建设中的关键技术，对自然资源进行分析、评价，并建设自然资源大数据管理与应用系统，提升自然资源大数据的管理、分析能力，促进自然资源管理工作的可持续发展，推进供给侧结构性改革，培育适应经济社会发展需要的主导产业。自然资源大数据技术可以为其他有关自然资源的研究提供技术支撑，并为今后的自然资源研究提供新的研究思路。

参考文献：

[1] 王林童,赵腾,张焰.配用电大数据多源集成及存储优化方法[J].高电压技术,2018,44(4):1131-1139.

[2] 殷礼胜,唐圣期,李胜.基于自发地理信息的空间数据变化发现与更新方法研究［[J].电子与信息学报,2019,41(9):29.

[3] 王占宏, 白穆, 李宏建. 地理空间大数据服务自然资源调查监测的方向分析[J]. 地理信息世界, 2019, 26(1): 9-13

[4] 刘纪平, 董春, 亢晓琛. 大数据时代的地理国情统计分析[J].武汉大学学报(信息科学版), 2019, 44(1): 71-79