基于Web技术并行计算在土壤水、热过程模拟系统的实现

基于Web技术并行计算在土壤水、热过程模拟系统的实现

孔辉 杨亮彦

（1陕西省土地工程建设集团有限责任公司 2陕西地建土地工程技术研究院有限责任公司 3国土资源部退化及未利用土地整治工程重点实验室 4陕西省土地整治工程技术研究中心，陕西 西安 710075)

摘  要：土壤水、热过程模拟系统结合Web技术、大数据分布式技术，并行计算框架、多线程异步操作等新一代信息技术，改变了传统模型单机模拟的工作模式，利用信息化的手段解决中试实验农田土壤参数模拟效率低的问题，为试验田优化管理提供了新的技术尝试。系统实现了任务并行、数据并行的高并发模拟方式，多人多任务可同步异步进行模拟，满足同时对多个参数进行PEST调参，并实现了后台计算的方式，提高了模拟效率和准确性，与实测值误差范围在13%~18%，对于土地整治的中试试验有新的改善，具有一定应用与推广价值。

关键词：土壤水热；大数据；Web技术；模拟系统

中图分类号：TP399  文献标识码：A

1 引言

粮食安全、资源高效利用与生态环境保护是当前我国农业生产面临的重大问题，提高耕地质量和产量是直接关系这类问题的核心，要解决这些问题就需要从生态学的角度对农田土壤-作物中的各个过程进行量化，借助模型来解决该类问题。国外对此已经有比较成熟的研究，研发设计了许多模型进行模拟，而我国在这方面起步较晚，该类系统较少，应用外国的产品花费过高且效率低，还不能很好的契合我国高度集约化的农业生产特点，因此，迫切需要构建一个用于土地整治工程中中试试验的仿真平台，将试验研究中所涉及到的相关机理模型、研究模型耦合集成到平台系统中，解决土地工程中中试实验所遇到的周期长、成本高、地域差异等问题。

对于传统的土壤水、热等模拟软件多为C/S模式，即单机模式下进行相关参数的模拟，计算效率较为低，多人同步工作能力不强，异步任务执行能力较弱，而且数据的组织管理与存储能力稍微逊色许多，多半只是在模型功能上比较强大。本项目立项的出发点旨在解决模拟数据前期组织和管理能力，优化数据模拟的计算能力和并行能力，以及最终计算结果与优化调参结果的平台的可视化展现能力。因此开发研究更加高效优化的土壤水、热模拟系统势在必行。

2 平台整体设计

本系统以土地工程行业所涉及的全要素数据为基础出发点，采取基于JavaScript、Java、SpringMVC的Web服务框架、天地图API、利用B/S多层架构和WebGIS相关的技术进行系统设计，构建一个专题数据管理、数据检索、模拟仿真、决策分析以及系统综合管理等功能为一体的土地工程大数据平台，为用户提供了数据的存储、处理、管理、应用、可视化等功能。基于开放性面向服务的架构体系（SOA）为设计理念的数据平台，是基于Web技术、GIS空间技术与B/S架构的多功能应用系统，由数据层、逻辑层（业务层）和应用层的三层架构组成。它主要是以数据层为基础和核心，依托网络平台和各种服务的基础支持，通过对数据的管理和展示来高效的监测数据和分析数据，如图1。

图1 土壤水、热过程模拟系统总体设计图

3 系统数据库设计

土地工程大数据平台的数据库设计思想是以实时的业务数据出发，基于典型的数据库三层架构模式，即“物理层”，“逻辑层”，“表达层”进行实现。物理层即数据库设计中的概念层，包括对于整体业务数据库的组成，因本系统基于的数据为关系型数据，所以也已关系型数据库为基础，实现了结构化数据库、非结构化数据库、空间数据库的搭建。逻辑层主要是针对具体的数据表的主表、附表、连接关系的设计，以数据库设计范式为基础，构建各个表之间的逻辑关系，各个表本身的数据结构和属性字段构成。表达层是通过数据库的增（Insert）、删（Delete）、改（Update）、查（Select）实现数据前后台交互，并以一定的形式于前端表达。

4 系统功能模块设计

系统功能模块是整个土地工程大数据平台运作的重要部分，本平台根据前期的需求分析和设计目标以及相应的功能要求，为系统设计了5个主要功能模块，分别是专题数据管理、数据检索、模拟仿真、决策分析以及系统综合管理。根据上一章节对数据表结构的分析和设计，本系统功能模块划分为两大模块：数据管理模块和应用模块。数据管理模块是对所采集和加入的各类数据源进行统一的管理，用来实现对整个系统的管理，包括数据查询、数据管理和综合管理（包括用户信息、密码修改、权限管理等）。应用模块是为整个用户提供服务的各个模块的总和，包括模拟仿真（土壤-作物的模拟过程管理与模拟）、数据检索（各类专题数据及相关数据的检索）、决策分析（包括依据相关模型算法实心数据的分析和统计）。系统功能模块进行如下介绍。

5 结论

通过大数据技术与土地工程的结合，利用语义层次逻辑数据模型，制定了适用于土地工程行业的数据要素分类编码及数据结构，通过结合Hadoop分布式数据库、MySQL关系型数据库、Geodatabase空间型数据库，搭建了多模态数据管理层，以结构化数据、非结构化数据及空间数据分类模式制定数据化共享接口，采用分布式存储系统建立了数据仓库。通过集成Spring业务逻辑层与数据层松耦合技术、Tomcat轻量级Web技术和AJAX中间件技术，搭建了首个土地工程大数据平台，创建了土地工程数据库，发展了全新的土地工程应用模式。该成果构建了首个土地工程数据库，对于土地工程乃至自然资源管理信息化手段提升具有重要的现实意义，对于数据库的建设、数据获取的体系改进、项目的实际应用有了较大的突破，但在针对不同整治类型专题子系统的研发和扩展应用方面还有待提升，这将是该研究成果未来深入开展的目标和方向。

参考文献

[1] 蔡立辉.构筑数字土地，推动土地资源管理信息化进程[J].中山大学学报(社会科学版),2003,43(6):62-69.

[2] 宫夏屹, 李伯虎, 柴旭东,等. 大数据平台技术综述[J]. 系统仿真学报, 2014, 26(3):489-496.

[3] 姬倩倩. 公共交通大数据平台架构服务模式研究[D].

[4] 费仕忆. Hadoop大数据平台与传统数据仓库的协作研究[D]. 2014.

基金项目：陕西省土地工程建设集团内部科研项目DJNY-YB-2023-26、DJNY-YB-2023-36、DJTD-2022-3陕西省重点研发计划项目2022ZDLNY02-10。