- 收藏
- 加入书签
基于自然资源云专区的时空支撑组件设计与应用
摘要:介绍了自然资源云专区下的时空支撑组件工具的架构设计和典型应用,重点介绍了时空支撑组件中5个工具的基本原理和主要功能,并举例介绍了时空支撑组件工具的典型应用服务和场景,可为其他城市构建智慧自然资源智能支撑环境提供参考和借鉴。
关键词:智慧自然资源;云计算;时空分析;可视化
在新形势新任务要求下,广东省积极谋划智慧自然资源建设,提出“构建智慧自然资源智能支撑环境——应用云计算、大数据、微服务、AI、区块链等技术,构建智慧自然资源智能支撑环境,建设自然资源三维时空数据支撑平台,提供大数据接入、存储和分析支撑能力,为时空数据的治理和管控、数据开发提供工具支撑。”基于自然资源云专区的时空数据支撑组件工具,结合业务需要提供了时空大数据存储、计算、服务、分析、场景可视化等组件,为信息系统开发和运行提供自然资源行业公共支撑能力,为智慧自然资源大数据的存储管理、深度分析,可视化应用的建设助力赋能。
1.自然资源云专区的概述
自然资源云专区是依托广东省政务云建设的,自动可控的,结合自然资源行业地理空间和资源数据体量大,数据安全要求高、业务敏感性强、业务空间属性强的特点,集IaaS、PaaS(包括时空大数据行业公共支撑能力、AI遥感监测行业支撑能力、自然资源业务支撑能力等行业公共支撑能力)于一体的自然资源云专区,其中,时空数据支撑组件为时空大数据行业提供了公共支撑能力,满足自然资源行业应用对时空数据深度挖掘分析的需求。其总体架构如图1所示。
2.时空数据支撑组件的架构设计
针对上一代空间信息系统架构不能充分发挥云环境下存储、计算能力,无法解决自然资源时空大数据存力、算力和智力不足的问题,将空间信息技术理论与大数据技术深度融合,基于自主可控IaaS能力,将大数据的强大能力拓展应用于空间信息领域,形成自主可控的自然资源时空大数据技术体系,涵盖空间大数据处理、管理、分析和可视化等专业化框架、引擎,成为空间信息领域支撑型的基础设施。
2.1总体架构
时空数据支撑组件在自然资源云专区的基础环境支撑的基础上,充分利用大数据存储能力,大数据计算能力,以及容器化和容器编排的云原生能力,构建时空数据存储、计算、分析、服务和可视化能力,满足自然资源大数据的在多元化场景下的时空数据的治理、管理、应用、浏览、分析等需求。时空数据支撑组件采用基于云计算的架构设计,具体包括基础设施层、时空底座层和用户层。
(1)基础设施层
基础设施层属于自然资源云专区的一部分,是为时空底座层建设提供存储资源、计算资源、网络资源和安全资源,并包含大数据存储、大数据计算、容器化和容器编排等通用大数据能力。时空数据支撑组件需要基础设施层能力的支撑,结合业务特点以及在算力、存储、可视化等方向的硬性要求,选择最优的部署环境。
(2)时空底座层
时空底座层包含时空数据行业公共支撑组件,以及通过组件提供的接口或者服务对外提供能力支撑。时空数据支撑组件包括时空数据存储组件、时空数据计算组件、时空数据服务组件、时空数据分析组件和时空数据场景组件五部分。
(3)用户层
时空数据支撑组件是自然资源一体化管理与服务平台、智慧自然资源其它应用系统的底层支撑,满足厅机关、厅属各单位等用户对自然资源时空数据对存储、计算、服务、分析与可视化应用与二次开发的需求。
2.2数据架构
时空数据支撑组件是智慧自然资源建设需要采用集约化模式、复用时空数据的公共能力,其不提供业务化的数据管理、数据分析与数据可视化的能力,不存在数据架构,但上层应用按照业务化逻辑调用其提供的存储、计算、分析、服务与可视化能力,实现对数据流的能力支撑。时空数据存储、数据计算、数据服务、数据分析、数据可视化等可复用时空数据能力,在资源层(应用系统的中间数据资源、明细数据资源、汇总数据资源、应用数据资源)、服务层和用户层对自然资源时空数据支撑作用如下:
(1)资源层时空数据能力支撑
资源层的数据来源于:自然资源数据中台(贴源层)推送的时空数据,主要包括由治理成果、汇集而来的原始成果共同构成的中间数据资源;对中间数据进行集中建库,形成图层模式的建库成果的明细数据资源;面向业务分析需求对明细层数据进行加工、整合以及初步汇总的汇总数据;支撑实际业务的分析成果数据。时空数据存储组件提供多自然资源数据多态存储的能力,实现对中间数据资源、明细数据资源、汇总数据资源和应用数据资源的高效存储;为时空数据分析、服务和可视化组件,提供中间数据资源的加工、明细层数据的处理、汇总数据的分析,以及应用数据的查询浏览能力。
(2)服务层时空数据能力支撑
服务层的数据来源于资源层数据经过分析处理、可视化构建,以及服务发布等形成的服务资源,用户通过服务请求的方式满足需求。时空数据分析组件提供数据在线分析的服务能力;时空数据服务组件提供地图、实景三维、智能搜索、地名地址、矢量瓦片的服务能力;时空数据可视化组件提供数据二三维可视化浏览的能力。
(3)用户层时空数据能力支撑
满足厅机关、厅属各单位等用户对自然资源时空数据进行分析、服务个性化快速定制的需求,涵盖了处理、管理、分析、服务与可视化的数据流全生命周期,为时空数据的治理和管控、数据开发提供工具支撑。时空数据组件为用户建设的业务、数据、应用需要采用集约化模式、复用时空数据公共能力。
2.3功能架构
时空数据支撑组件由时空数据存储组件、时空数据计算组件、时空数据服务组件、时空数据分析组件和时空数据可视化组件构成,通过服务接口和组件集成的方式支撑自然资源数据服务、分析服务和可视化服务等。
(1)时空数据存储组件,实现混合存储架构下的空间大数据一体化存储能力,提供统一的数据管理、监控、访问接口,实现超大规模空间数据管理性能的数量级提升,支持空间数据库、NoSQL数据库、图数据库、分布式文件系统等存储形态的驱动能力,同时具备高度的开放性,支持更多存储形态的扩展接入。
(2)时空数据计算组件,提供高性能并行计算、分布式内存计算、分布式实时计算等多种计算引擎,内置丰富的空间基础算法模型库,提供统一的计算资源调度、计算任务管理能力,满足自然资源不同业务领域在不同尺度下的空间大数据多元化计算需求。
(3)时空数据服务组件,为用户提供基础地图、实景三维、智能搜索、分析挖掘等多维地理信息服务,同时兼容OGC标准的W*S服务接口;通过统一的管理系统,提供数据源管理、服务发布、服务管理、服务监控等功能,实现服务发布运行的一体化管理;面向多终端服务需求,提供二维地图SDK、三维地图SDK等一系列应用开发包,方便用户快速搭建满足自身需要的应用系统。
(4)时空数据分析组件,基于时空数据计算框架提供的空间基础算法模型库,依托“业务逻辑+专家知识”采用流程建模方式构建,提供快速构建定制化空间分析场景的能力,包括空间分析流程建模、空间分析模型管理、在线分析、空间分析服务管理、场景化模型库等,实现基础模型联接、业务模型构建,为业务分析挖掘应用提供支撑。
(5)时空数据可视化组件,具备基于数据湖的多源数据实时接入、基于推荐的专题地图在线定制、可视化场景智能装配等核心能力,通过提供丰富的可视化模板,满足多种业务场景下的二三维一体化展示需求,为用户提供跨终端、一站式空间大数据可视化解决方案。
2.4技术架构
随着自然资源数据采集、获取、生产技术的迅速发展以及自然资源管理业务的深入推进,自然资源数据体量呈几何级增长,数据种类更加丰富,数据关系越发复杂,应用场景更加多样化,共享服务要求更高、服务对象范围更广。时空数据组件是由空间信息技术与新一代互联网技术深度融合而来,应用云原生和微服务技术,构建自然资源时空支撑环境,为自然资源业务提供全方位、多样化和个性化的自主可控自然资源公共支撑能力,打造开放、标准的应用开放运行环境,提供算法、模型开发部署环境,支撑自然资源数据开发和业务应用建设。
(1)存储技术
自然资源数据多源、多态特征导致单一的物理存储形式无法满足其存储需求,需要采用多态混合存储策略,综合运用空间数据库(关系型数据库+空间扩展)、NoSQL数据库和分布式文件系统的各自优势实现自然资源矢量、影像、地形、表格、瓦片、三维模型等结构化、半结构化和非结构化数据的一体化存储,每一类数据适配最优的物理存储形式,满足不同应用情景的高效数据访问需求。
(2)计算技术
面向自然资源数据统计、分析、评价等需求,为进一步提升分析计算时效性,依托时空数据支撑组件,采用多模分析计算技术,融合实时分析引擎、分布式计算引擎,满足不同分析计算场景下的自然资源数据计算分析要求。面向政务审批小数据、实时性图形审批和分析场景,以实时分析引擎为支撑,直接通过分析引擎从数据库拉取数据进行实时查询和统计,并将分析结果同步反馈至相关业务系统,以保证分析的实时性,以及满足高并发的需求;面向大数据分析场景,比如全省土地利用变化分析,或长耗时的政务审批图形分析,以分布式内存计算框架为依托,以解决在全省尺度、数亿要素规模下的自然资源大数据分析和应用难题。
(3)服务技术
基于矢量瓦片、三维瓦片等技术,提供二维地图服务、三维模型服务以及查询分析服务。二维地图服务涵盖矢量、影像、地形等常见空间数据,且支持在线地图交互。三维模型服务涵盖三维地形、精细模型、倾斜摄影模型、点云等多样化的三维数据。同时,通过统一的管理系统,提供数据源管理、服务发布、服务管理、服务监控等功能,实现服务发布运行的一体化管理,通过提供WebAPI开发包,支撑应用系统快速搭建与定制。
(4)分析技术
面向自然资源多维分析与数据挖掘的需求,内置丰富的基础空间分析模型及提供按需定制、灵活方便的业务搭建能力,以及在线分析服务的发布、管理能力,支撑分析场景的快速构建。
(5)可视化技术
融合大数据可视化技术、矢量瓦片技术等,通过二维地图、三维地图、统计图表、富媒体等可视化方式,内置丰富的可视化模板以及提供按需定制的可视化场景构建能力,满足多样化业务专题的展示需求。
3.时空支撑组件的典型应用
针对上一代空间信息系统架构不能充分发挥云环境下存储、计算能力,无法解决自然资源时空数据存力、算力和智力不足的问题,将空间信息技术理论与大数据技术深度融合,将大数据的强大能力拓展应用于空间信息领域,形成自主可控的时空数据技术体系,成为空间信息领域支撑型的基础设施。
3.1建立统一的多态混合存储模型
面向自然资源时空数据存储需求,采用多态融合时空数据存储管理技术,包括结构化数据、半结构化数据、非结构化数据,各类数据存储形态多样,例如地类图斑、报批项目等关系型数据,矢量瓦片、栅格瓦片、三维瓦片等非关系型数据,遥感影像等文件形态数据。
3.2 提升图层级大数据计算能力
时空数据计算组件采用多模异构的自然资源时空数据分析计算技术,重构面向空间大数据基础算法、空间智能基础算法,面向差异化分析计算场景构建统一资源调度的异构计算模式,支撑计算任务的自动拆分和计算节点的自动分配,满足不同场景下的智慧自然资源时空数据分析挖掘、决策分析对算力的需求。在自然资源实体构建中,特别是调查监测专业实体土地资源变化的构建中,为各年份地类图斑千万级数据的叠加工作,报批项目、供地项目、三旧改造等业务审批备案数据与调查数据、规划数据做叠加分析等工作助力,打破了传统采用ArcGIS完成分析,处理耗时长等壁垒。
3.3 提供自助式在线时空分析能力
时空数据分析组件提供空间分析模型、算子库等统一管理,通过自助式在线时空数据分析工具,采用可视化的大数据分析建模方式,快速构建个性数据、特色业务的大数据计算分析场景,并提供场景分析服务的状态监控、运行监控、访问监控等,实现以数据驱动、以业务赋能、以场景承载的空间大数据分析挖掘能力。以广东省自然资源调查监测辅助综合管理系统的通用计算能力需求为例,首先该系统需获取自然资源一体化数据库数据清单,根据需求分析内容和结果选取相对应的数据,然后再选择分析工具,形成数据和分析工具一整套计算方法;其次,将计算方法推送给自然资源一体化数据库数据计算中心开始计算并返还计算结果和计算时间;最后,计算完成后,将计算结果推送到数据库中的中间库并提供接入接口。
3.4 提供可视化主题搭建能力
时空数据可视化组件面向自然资源各应用领域提供的个性数据、特色业务,需打造地图、统计图表等丰富的可视化插件库,以及可视化模板库。目前已运用在广东省自然资源调查监测辅助综合管理系统,搭建关于变更调查、常态化监测、专题数据统计分析等多种主题场景的可视化界面共计100余屏。
4结语
基于自然资源云专区的时空支撑组件是提升信息技术应用创新驱动能力,满足自然资源时空数据治理、管理、应用和评价,以及自然资源智慧监管的全面性、准确性、实时性和高效性的需求。
参考文献:
[1]沈凤娇,余晓敏.时空大数据平台云计算及其典型应用服务探讨[J].地理空间信息,2021(06):33-34
[2]刘福刚.基于GISCloud云计算框架的面向时空信息数据大数据平台的设计[J].赤峰学院学报(自然科学版),2018,34(5):28-29
[3]张鹏程,何华贵,张珊珊.数字广州地理空间框架与智慧广州时空信息云平台建设[J].城市勘测,2018(2):10-13
[4]段志强,沈凤,黄冠宇.智慧城市时空信息云平台建设研究[J].地理空间信息,2018,16(8):24-27
[5]张枫,杨茜,杨冰,刘洋利.AI数字底座与时空融合计算赋能智慧高速建设[J].中国交通信息化,2024(03):67-69
[6]秦俊峰,熊文.基于流式计算引擎的时空查询中间件设计与实现[J].无线互联科技,2022(11):56-58
作者简介:林菁(1990-),女,汉,广东汕头人,国土工程师,本科,2013年毕业于华南师范大学资源环境与城乡规划管理专业,主要从事自然资源信息化工作。
京公网安备 11011302003690号