云GIS架构的研究与实践

article/2025/8/3 16:11:46

云GIS架构的研究与实践

  • 摘要
  • 1.引言
  • 2.云计算(Cloud Computing)
  • 3.云GIS
  • 4. 云GIS在“多规合一”平台中的实践
    • 4.1. 实践思路
    • 4.2. 相关产品选择
    • 4.3. 私有云环境建设
    • 4.4. 云GIS环境建设
      • 4.4.1. 镜像库
      • 4.4.2. 配置规则
      • 4.4.3. 生产站点
      • 4.4.4. 部署要点
  • 5.总结
  • 参考文献

摘要

本文结合天津市“一张蓝图、多规合一”综合管理平台项目,对云GIS 的构建、应用、管理方面进行了积极探索,通过将云计算与GIS技术进行融合,实现了计算资源、存储资源、GIS资源的弹性管理、按需分配。

1.引言

天津市“一张蓝图、多规合一”综合管理平台(以下简称“多规合一”平台)是实现国民经济和社会发展规划、城乡规划、土地利用总体规划、环境保护规划等涉及空间的各类规划相互衔接、相互协调及矛盾解决,支撑各部门工程建设项目审批前策划研究的业务协同工作平台。用户覆盖天津市市、区两级政府和各委办局的职能处室,数据资源涵盖基础地理信息数据、多规合一规划控制线数据、规划成果数据、部门专业现状数据、建设项目审批数据、规划核心指标数据及项目储备数据在内的几百种地理信息数据。
在“多规合一”平台建设过程中,GIS 面临着巨大的IT 挑战:数据密集型、并发访问密集型和时空密集型。云计算的出现为这些挑战提供了一个潜在的解决方案,搭建云计算环境下的GIS应用,为不同的业务需求,弹性扩容、动态计算、按需提供GIS资源。

2.云计算(Cloud Computing)

“云计算”[1-2](Cloud Computing)概念从埃里克·施密特(Eric Schmidt)在2006年8月首次提出到现在已经有10多年的时间,在国内外IT商业巨头[3]的推动下,取得了飞速的发展与翻天覆地的变化。云计算是一种计算资源的云化,将分布式计算、并行计算、网络存储、虚拟化等传统IT技术进行融合,形成的一种新型应用模式,它将计算任务分布在大量计算机构成的虚拟资源池之上,使用户能够按需获取计算能力、存储空间、数据信息和应用服务[4]。整个运行方式很像电网、自来水厂,终端用户可以按需、随时取用。云计算与传统的网络应用模式相比,具有虚拟化、动态可扩展、可靠性高、资源优化、数据共享等技术特点[5,6,7],可以以最小的代价将不同厂家的硬件异构集成与管理,将彼此孤立和割裂的计算、存储、网络设备在逻辑上整合成一台高性价比的“超大规模云计算机”,为上层软件提供弹性的按需供给资源的能力,实现硬件资源的弹性供给及其相互协同。
云计算根据部署环境或是应用对象不同可以分为公有云、私有云和混合云三种模式。公有云中云资源池为所有用户共享,一般通过互联网使用;私有云中客户独占使用云资源池,一般部署在企业数据中心或第三方托管场所;混合云中客户同时使用公有云资源和私有云资源,逻辑上是一个整体,可实现内部互联,既保证了用户的私有性,又能够灵活使用公有云。

3.云GIS

随着计算机科学和网络技术的飞速发展,许多新技术被应用到GIS 中,GIS应用模式发生了巨大变化。在经历了面向文件共享的第一代GIS、面向空间数据库共享的第二代GIS、以及面向服务共享的第三代GIS后进入了基于云计算平台实现计算资源、存储资源、应用服务、数据等资源在内的大规模共享的云GIS时代。
图 1 GIS应用模式的转变
云GIS不是一种新的技术[8],是将云计算的各种特征用于支撑地理空间数据的存储、建模、处理与分析,使得GIS应用从专业化应用走向智能、便捷、亲切化的应用。按照提供的服务内容不同,云GIS可以分为基础设施即服务(infrastructure as a service,IaaS)模式将底层的计算和存储等多种资源作为服务提供给用户;平台即服务(platform as a service,PaaS)模式将应用的开发或部署平台作为服务提供给用户;软件即服务(software as a service,SaaS)模式将GIS 应用以Web 服务的方式提供给用户;数据即服务(data as a service,DaaS)模式是将地理时空大数据作为服务提供给用户,是云GIS对云计算传统服务内容的丰富。

4. 云GIS在“多规合一”平台中的实践

4.1. 实践思路

“多规合一”平台中的云GIS环境是基于“云GIS是云计算技术与GIS 技术融合发展而来”的思想进行搭建的。首先利用虚拟化技术搭建私有环境的基础设施云(Iaas),将已有的IT基础设施资源(包括计算、存储、网络)做成虚拟资源池,实现计算、网络、存储、安全虚拟化的全面融合,达到共享服务器、存储和网络的目的。再将GIS软件平台与Iaas进行整合,使云具备空间计算能力、GIS资源管理与分享能力。然后基于分布式架构开发部署基于云GIS环境的应用,消费云中的GIS资源。

4.2. 相关产品选择

“多规合一”平台项目中的虚拟化产品采用的是新华三集团的H3C CAS虚拟化平台。该平台是H3C公司面向数据中心自主研发的企业级虚拟化软件,提供强大的虚拟化功能和资源池管理能力,能有效整合数据中心IT基础设施资源,通过简单易用的管理界面降低IT管理的复杂度,为用户提供成本更低、可靠性更高、维护更简单的基础架构,使数据中心从传统架构向云架构平滑演进。H3C CAS虚拟化平台包含CVK(虚拟化内核系统)、CVM(虚拟化管理平台)和CIC(云业务管理中心)。
“多规合一”平台项目中的GIS软件平台采用的是ESRI公司的ArcGIS Server。ArcGIS Server 是 ArcGIS Enterprise 的后端服务器软件组件,可以通过Web服务的形式将我们的地理信息提供给通过网络连接的任何人使用。

4.3. 私有云环境建设

云计算环境建设按照总体设计、架构设计、逐步实施的原则进行,在正式实施之前充分做好前期规划,包含网络环境、计算资源的估算、存储资源的估算、资源池划分四个方面的内容。
网络环境是由用户的使用环境决定的,像本文中的天津市“一张蓝图、多规合一”综合管理平台的最终用户是在天津市的政务外网,所以本文的云环境实质上是一朵私有云。
计算资源、存储资源的估算是建立在用户了解一定的硬件基础知识,同时对未来GIS应用场景有明确的认识的基础上,才能对现有需求环境下的计算资源配置进行合理的估算[8]。根据项目的实际应用场景,本研究规划的计算资源和存储见下表所示。
表2 计算资源估算
资源池的划分是根据硬件的配置组建不同的集群从而划分为不同级别的资源池。根据计算性能的优劣,可以划分存储型资源池、计算型存储池以应对不同的应用场景,提供资源利用率。在本项目应用中,根据服务器性能划分了2个计算资源池,1个资源池为由同一品牌高性能的6个服务器构成,用以部署各类GIS服务,另外1个资源池由不同品牌不同型号的6个服务器组成。存储资源划分为4部分,分别用于2个计算资源池中虚拟机的部署、数据库集群的数据存储、非关系型数据的分布式存储。整个私有云环境的部署架构如图2所示。
图 2 私有云环境部署架构

4.4. 云GIS环境建设

“多规合一”平台以虚拟机作为标准部署单位,通过网络提供GIS服务。通过创建镜像库、建立虚拟机实例化的配置规则、创建生产站点三个步骤完成云GIS环境的搭建,如图3所示。镜像库和配置规则的结合,可以实现动态创建生产站点。借助H3C CAS的云管理平台可以首先实现云中的GIS资源管理与分享,达到资源弹性动态调整。
图 3 云GIS环境搭建

4.4.1. 镜像库

镜像库是借助H3C CAS的虚拟机模板功能,由事先创建的虚拟机克隆或转换而成虚拟机模板,包含负载均衡、反向代理、GIS服务、业务服务、数据库服务等5类镜像资源,每类镜像资源可以根据不同应用场景配置相应规则创建对应的实例。
负载均衡镜像资源可以创建部署有负载均衡器Nginx的虚拟主机、也可以创建部署有ArcGIS Server自带的负载均衡器ArcGIS Web Adaptor的虚拟主机。
反向代理镜像资源可以创建具有反向代理功能的虚拟主机,该主机上部署有Nginx或Apache等反向代理中间件。
GIS服务镜像资源可以创建部署有ArcGIS Server的多主机站点。 业务服务镜像资源包含有Web服务器(如Tomcat)和Web应用程序,可以根据规则创建不同的业务实例,如单点登录等,可以通过添加或移除业务实例的方式动态调整集群的计算能力。
数据库镜像资源可以创建不同的数据库实例,通过添加或移除实例的方式动态调整数据库集群的性能。

4.4.2. 配置规则

配置规则是指在部署虚拟机实例时需要遵循的一系列标准规范,包括虚拟机部署主机规则、虚拟机的命名规则、IP地址的配置规范、计算能力配置规则、存储资源配置规则等等。

4.4.3. 生产站点

如图3所示,“多规合一”平台的生产环境采用数据、业务、负载均衡、反向代理四层架构模式进行部署。
数据层包括业务数据库集群、GIS数据库集群以及存储集群。业务数据库主要是针对特定应用而部署的数据库集群,比如日志管理、关系模型为主的业务;存储集群主要是一些分布式文件系统。
业务层包括各类业务集群和GIS站点。业务集群和GIS站点采取无状态化的多节点模式,每个站点可管理两台或多台服务器,并将其用作单个逻辑单元,这可为管理员提供极大的灵活性,可通过添加或移除计算机来轻松调整站点的计算能力。多节点站点可简化在多台 ArcGIS Server 计算机之间发布和更新服务的过程。为合理利用资源,“多规合一”平台根据用户的空间分布、硬件性能将GIS服务划分为市内6区GIS站点、环城4区GIS站点、郊区5县GIS站点以及地理处理站点,每个站点根据访问量,可以动态、灵活更改站点内的计算机数量,从而达到动态调整计算能力的目的。
负载均衡层部署于反向代理和业务层之间的中间位置,识别收到的请求后按照一定的逻辑将请求分配给站点(或集群)内的一个计算机,从而达到平衡客户端负载的目的。在“多规合一”平台中GIS站点使用ESRI自带的产品ArcGIS Web Adaptor,业务集群采用第三方负载均衡组件Nginx,通过检测计算机故障和向可用计算机自动重新分配流量来实现高可用性。
反向代理层是在隔离区(DMZ)或屏蔽子网中部署的计算机,处理来自外网的请求并将其转发到内部网络的计算机中。在“多规合一”平台中使用Nginx作为反向代理服务器,通过转发请求,掩藏了防火墙后面的计算机标识,阻止了外部用户访问内部网络,保护了内部计算机免受外部网络用户的直接攻击。

4.4.4. 部署要点

业务层内不同集群和站点内通信都应该是无状态的,有状态的通信需要规划在同一个业务应用中。
业务层内每个站点(或集群)采用多节点模式部署时,所有 计算机共享同一配置存储和服务器目录。
业务层内每个站点(或集群)采用多节点模式部署时,为了使站点能够正常运行,每台 ArcGIS Server 必须具有相同版本号。
ArcGIS Web Adaptor只能实现轮询模式分发请求,如果要实现指定权重、基于IP的哈希值、基于URL的哈希值等分发策略的话,只能使用第三方负载均衡器。

5.总结

本文对云GIS 的构建、应用、管理方面进行了积极探索,改变了传统GIS的应用方法和建设模式,实现了计算资源、存储资源、GIS资源的弹性管理、按需分配。本文虽然解决了传统GIS项目中技术资源利用率不高、人力物力投入高、快速响应能力不足、安全性能无法保障、无法适应多种业务场景、智能化管理不足等问题,但是云GIS应用中的GIS计算资源隔离、GIS数据资源隔离等问题还未解决。另外,我们也有待加强云GIS在交通卡口数据管理等方面的海量数据云存储研究;有待加强云GIS在大规模独立任务的分布式并行计算方面的研究,如创建影像金字塔、生成影像缩略图、数据格式转换、视频处理、分布式切图、数据分析、大规模地形分析、趋势分析、统计分析等。

参考文献

  1. 许子明,田杨锋.云计算的发展历史及其应用[J].信息记录材料,2018,19(8):66-67.
  2. 王雄.云计算的历史和优势[J].计算机与网络,2019,45(2):44.
  3. 成毅,刘兴科.一种适于云计算的地理信息服务架构.中国人民解放军信息工程大学测绘学院第五届博士生学术论坛,中国河南郑州,2010,232-235.
  4. 刘鹏.云计算.北京:电子工业出版社,2010,5-13.
  5. 李文军.计算机云计算及其实现技术分析[J].军民两用技术与产品,2018,(22):57-58.
  6. 6王凤领.基于云计算的WebGIS 分析构架研究[J].计算机技术与发展,2014,24(3):113-116
  7. 贾晨微.政务地理空间私有云技术研究:[硕士学位论文].重庆:电子科技大学,2012,17.
  8. 李少华,李闻昊,蔡文文.云GIS技术与实践.北京:科学出版社,2017,158.

http://chatgpt.dhexx.cn/article/S9kDr7vD.shtml

相关文章

华为云Modelarts

目录 一、什么是ModelArts 二、ModelArts特点 三、ModelArts开发流程 1、进入控制台 2、创建桶 3、自动学习 总结 一、什么是ModelArts ModelArts 是面向开发者的一站式 AI 开发平台,为机器学习与深度学习提供海量数据预处理及交互式智能标注、大规模分布式训…

云原生安全介绍

1 云原生介绍 不同组织对云原生有不同的解释: 云原生概念最早出现于2010年,Paul Fremantle的一篇博客中提及一种架构,其中包括:分布式、松散、自服务、持续部署与测试。 2015年Pivotal公司的Matt Stine在《迁移至云原生应用架构…

电子邮箱怎么填写格式,手机邮箱格式怎么填写?

电子邮箱作为主流的沟通工具之一,已经是人人必备的了,就像手机号码一样,每个人的邮箱地址都是不一样的,而且也存在着热门的“靓号”。一个好的邮箱地址不仅能吸引他人的眼球,让收信人更愿意阅读,还能便于自…

element自定义邮箱和手机号校验规则

<el-form:model"addUserForm"ref"addUserFormRef":rules"addUserFormRules"label-width"100px"><el-form-item label"邮箱" prop"email"><el-input v-model"addUserForm.email"><…

android qq 邮箱格式,QQ邮箱格式怎么写

QQ邮箱格式怎么写 QQ邮箱现在最多可以拥有四个不同的邮箱格式&#xff0c;但是别人不管给你哪个账号发邮件&#xff0c;你都可以在同一个邮箱收到邮件。所以可以在不同场合&#xff0c;可以给对方不同的邮箱账号。那么QQ邮箱格式怎么写呢&#xff1f;怎么在合适的场合给别人一个…

163邮箱怎么申请?手机号怎么申请注册邮箱?

如果你还没有邮箱&#xff0c;直接用手机号注册163邮箱&#xff0c;163.net是一款TOM的VIP邮箱&#xff0c;跟普通邮箱的区别是邮箱容量可以无限放大&#xff0c;来往的邮件信息能长期存储&#xff0c;国际邮件能快速收到和发出。 怎么申请邮箱&#xff1f;163邮箱申请的好处 …

手机号邮箱怎么注册?邮箱登陆163登录入口

公司一直都是用邮箱沟通交流的&#xff0c;新入职同事问我怎么注册邮箱&#xff0c;了解到他的岗位需要经常外出&#xff0c;就告诉他可以用手机邮箱&#xff0c;于是&#xff0c;告诉他注册TOMVIP邮箱就可以。同时简要整理了手机邮箱怎么注册&#xff1f;注册后的邮箱登陆流程…

Java实现利用正则表达式校验手机号码,邮箱,电话号码

需求&#xff1a; 校验手机号码&#xff0c;邮箱&#xff0c;电话号码 实现代码&#xff1a; package apilambda.d6_regex;import java.util.Scanner;public class RegexTest2 {public static void main(String[] args) {//需求&#xff1a;校验手机号码&#xff0c;邮箱&…

手机号电子邮箱怎么填写?

邮箱的格式是由账号名称域名组成&#xff0c;而账号名称可以是人名、公司名称以及手机号&#xff0c;这些都可以在注册邮箱时自行设定&#xff0c;TOM企业邮箱开通手机号邮箱仅需两分钟。 手机号电子邮箱 企邮开通好后会先拿到一个管理员账号&#xff0c;可以通过该账号进行开…

短视频解析去水印在线 伪原创视频如何搬运

短视频解析去水印在线 伪原创视频如何搬运 原创号1万的播放量是12元左右&#xff0c;具体的单价要根据账号权重所定。,您还可以使用更多视频网站进行分析。,相比之下&#xff0c;用户更喜欢空对地以接近群众。,2音频图片合并首先去网上选择一段合适的音乐素材&#x…

Vue中使用Video标签播放 <解析后的短视频>去水印视频无响应

&#x1f4e3;文章目录 问题&#xff1a;情景复现:链接在Video标签打不开链接浏览器正常打开出现的原理 解决方式前端解决全局添加标签Vue单页面添加标签完美解决: 问题&#xff1a; 发送Ajax请求,请求后端接口解析抖音无水印视频并且展示在页面中&#xff0c;后端已经可以把解…

短视频去水印微信小程序,免费去除视频水印

最近不知怎么的&#xff0c;偶然浏览到一个挺简单漂亮的视频解析小程序帖子&#xff0c;没过多久又偶然浏览到一个各类短视频去水印api的github项目&#xff0c;挺巧的&#xff0c;于是就花时间把两个项目结合了一下&#xff0c;然后自己发布了小程序&#xff08;这里顺便吐槽下…

最全去水印的视频解析工具,完全免费的小程序

最近在研究抖音和快手等短视频去水印的解析算法&#xff0c;查看了非常多的接口提供方以及工具&#xff0c;最终发布了一个完全免费的解析工具! 无需安装任何app&#xff0c;直接扫描一下二维码即可使用&#xff0c;解析成功后还可以直接下载视频。

趣头条视频解析去水印原理分析过程及源码,简单又有趣

var Q_qun = 695623459; console.log("Welcome you!");拿到两个趣头条视频的分享链接如下 [精选] 同样是单身狗,第三个才是实至名归。查看http://new.3qtt.cn/1hKLnp [热门]太原出土了一口黄金棺材,为何专家却不敢打开,里面有...。查看http://new.3qtt.cn/1hKLox…

短视频去水印解析二次运用--全网短视频解析去水印软件

短视频的风口还在&#xff0c;短视频你做了么&#xff1f;原创视频更容易引起大家的共鸣&#xff0c;因为从选材到拍摄完成这段视频至少表现出了他们在生活中的真实的一面&#xff0c;在大多数人的兴趣和情感中产生共鸣&#xff0c;鼓励读者打开阅读。当然不排除有人刻意的引导…

B站视频解析去水印工具入口

B站视频解析去水印工具_抖音解析去水印_抖音视频去水印工具 网址&#xff1a;B站视频解析去水印工具入口https://www.shuiyinyun.com/inpaint-video.html步骤&#xff1a;

2019年团体程序设计天梯赛总结

从寒假开始&#xff0c;我很少碰竞赛相关的题目了&#xff0c;感觉已经没有了以前的热情&#xff0c;直到dxl在群里提出参加天梯赛一事时&#xff0c;团体提出了搞天梯赛&#xff0c;一开始我是不想去的&#xff0c;感觉自己退步了很多&#xff0c;不想再参与之类的竞赛。但回头…

2019第四届团体程序设计天梯赛总结

2020.10.22刚刚结束天梯赛的校选&#xff0c;只不过是作为出题人&#xff0c;还有一个月天梯赛又要来了&#xff0c;回看之前的总结真是稚嫩啊&#xff0c;取消文章的私密了 2019.3.30——第四届CCCC团体程序设计天梯赛 3月的事情貌似比较多欸&#xff0c;又是评奖学金&#xf…

2021年 团体程序设计天梯赛——题解集

Hello各位童学大家好&#xff01;&#x1f60a;&#x1f60a;&#xff0c;茫茫题海你我相遇即是缘分呐&#xff0c;或许日复一日的刷题已经让你感到疲惫甚至厌倦了&#xff0c;但是我们真的真的已经达到了我们自身极限了吗&#xff1f;少一点自我感动&#xff0c;没有结果前别太…

团体程序设计天梯赛题解(c++)

一、L1.基础题&#xff08;5分&#xff09;&#xff1a; L1-001 Hello world&#xff08;c&#xff09;http://t.csdn.cn/qU2VjL1-004计算摄氏温度&#xff08;c&#xff09;http://t.csdn.cn/ZaKrpL1-012计算指数&#xff08;c&#xff09;http://t.csdn.cn/d3RtdL1-014 简单…