在社会不断发展的过程中, GIS (地理信息系统) 技术发挥了重要作用, 而该技术的关键就在于数据信息, 涉及搜集、加工、存储及分析数据等相关工作。因为GIS数据来自各个方便, 而且数据的形式也愈发多样化, 例如:音视频、照片等, GIS借助多媒体数据可以将地理信息更加生动的展示出来, 使用户能够更加便利、清晰的了解到地理信息。当前不同领域均应用到GIS技术, 且应用不断朝着复杂、繁琐化的方向发展, 由传统桌面级逐步转变为现在公众型及企业级运用, 实现了系统同数据共享的有机融合, 能够将更加专业和全面的地理信息服务提供给广大用户群体。
一、GIS数据管理中应解决的问题及对策
在应用存储技术环节, 需充分利用GIS数据的基本特点, 这样才能提高GIS存储技术运用的精准性, 还会降低系统出现安全问题的风险, 进一步增强系统的拓展性, 此外还需对以下事宜进行重点监测:
(一) 统一存储相关数据信息
当前系统在面临大量数据时无法达到存储要求, 因此需要运用GIS系统集中对相关数据进行处理, 这是因为GIS系统结构复杂程度较高, 并且内置了多种功能。相对于GIS系统, 传统服务器对数据的处理效率有所迟滞, 面对爆炸式的信息数据增长时, 传统意义上的硬件设备无法满足存储需求, 所以应对应引入配置磁盘阵列产品, 全面提升存储效率。
(二) 对海量数据的有效访问
在ArcSDE的作用下, GIS的矢量数据会被系统直接存储在GIS的矢量数据Oracle数据库里。在这种存储方式下, 使用者必须对数据进行多次请求, 所以在实际运用时应优先选择FCSAN光纤存储。光纤SAN具有诸多优势, 比如存储速度快, 并且延迟不显著, 全面提升矢量图形数据的调用和访问。在航拍以及卫星影像拍摄的场景下, 其往往会产生巨大数据量, 就要要求网络所需宽带具有一定稳定性, 这样才能降低并发冲突的发生概率, 如果出现并发冲突则会直接导致数据延迟, 影像系统的正常运转。通常而言, 这部分数据会通过文件形式被外界调用和提取, 如果瞬时访问量过大会引发中毒风险, 所以在使用数据使应优先采取NAS存储方式, 这是因为该系统具有支持并发以及不占用服务器空间的明显优势, 能够降低数据被外界因素干扰的风险。
(三) 对数据的有效备份
一般而言, 数据都处于更新的状态, 因此需要及时对相关数据进行备份, 对于城市地理信息系统而言, 加强对信息数据的归档极具重要意义。传统存储方式主要又增加内部存储空间和硬件容量, 但日益无法满足实际备份需求, 以磁带机为例, 在正常工作模式下对数据备份效率低下, 并且占有大量网络资源。当前针对大量数据的备份事宜, 往往通过网络备份实现, 但由于网络不稳定会造成数据中断, 同时由于无法进行断点续传, 此类备份形式效率仍然无法满足实际需求, 此外如果需要对备份数据进行编辑, 甚至修改, 容易引发数据不一致的情况。由此可见, 针对不同类型数据的备份工作需匹配专业化的数据库和软件, 明确备份工作流程, 优先采取LAN Free备份策略, 定期向磁带库以及磁盘阵列推送相关数据。
二、多媒体存储技术
(一) 多媒体属性库存储管理方式
在媒体服务器内管理多媒体信息时, 需要利用多媒体属性库存管理方法, 完成信息的存储操作。作为共享存储设备, 媒体服务器能够对多媒体数据进行传送, 当多媒体数据文件接收请求被程序所发出后, 媒体服务器就能够执行打开操作, 并对多媒体内容进行传输。特定媒体服务器能够存储多媒体信息, 可以将空间对象属性设定成多媒体数据的资源号, 并归为空间数据集属性列, 由此能够实现多媒体属性数据、空间数据二者的有效链接[1]。所以基于空间对象属性字段, 通过提取多媒体文件资源号的方式, 就可以在媒体库内对多媒体文件进行查看。
借助流媒体服务, Windows媒体流服务器能够对数据进行传送。应于本地硬盘内下载文件, 随后运行文件, 但是对于流媒体格式文件却不同, 在本地下载少数即可, 运行和下载能够同步开展, 这种流传输途径具有实时性的优势, 更具便利化的特点。当前主要应用顺序、实时两大流传输途径, 前者应用的是HTTP服务器, 通常后者都会运用到流式传输媒体服务器, 若开展实时流式传输, 则要借助RTSP实时协议。在媒体服务器中存储多媒体文件, 利用流媒体服务, 能够有效开展网络传输, 为移植系统提供了便利, 使多媒体属性信息及GIS空间信息的运用独立性大大增强。
(二) 多媒体数据库存储管理方式
基于数据库系统, 利用多媒体数据库存储管理方法, 能够有效、统一化的管理多媒体数据。在数据库内可以存储二进制多媒体信息, 利用关键字, 能够有效关联空间对象。当先众多GIS平台可以运行有关解决方案, 包括数据通路 (ArcSDE) 、SuperMap SDX+支持数据引擎, 能够利用关系型数据库对空间数据进行保存, 并将多媒体信息存储字段构建于GIS专题属性表内, 包括:SQLServer数据库中的image类型数据、在oracle数据库中存储BLOB类型的数据, 并于该类型字段内对多媒体信息流化进行保存[2]。空间数据、多媒体数据借助多媒体数据库存储管理方法, 能够开展统一化的管理、存储操作。多媒体数据对于数据库而言, 能够借助独立属性进行存储, 所以对于海量多媒体信息, 都能够进行存储。
三、虚拟化数据管理技术
分布式服务器是云GIS的基本构成单位, 需要以并行的方式将服务供应给使用者, 还应有效的分析、处理不同的空间数据。基于原有GIS的Extended ORDBMS及RDBMS+SDE架构体系下, 系统的整体系统会因空间数据库管理系统而降低, 这就需要加快数据的更新速读, 并使随机访问速度得到进一步的改善, 从而推动云GIS数据管理技术的发展。在线更新、离线运用两大技术是运用虚拟化技术管理空间数据的主要类型, 能够使数据自动同步、迁移于不同层级和系统内[3]。此外, 要想协同运行分布式服务器, 就要利用云计算系统平台管理技术, 借此来开通、部署业务, 并及时找到系统存在的问题, 使系统能够长期、稳定的运行。系统大规模化的运行还运用到智能及自动化技术, 包括开源数据管理模块HBase和BigTable数据管理技术。
其中, 作为分布式结构化数据存储系统, Bigtable能够对大量的数据信息进行处理, 一般在众多服务器内分布着PB级数据, 对于多维度排序Map的存储, Bigtable的显著特点是持久性、分布式和稀疏化。子表服务器、主控服务器及客户端程序共同组成了BigTable。借助时间戳、列/行关键字, 能够有效的索引Map, 其下value均为未解析byte数组。在
针对Tablet位置信息, 借助B+树式的三层架构, BigTable可以执行存储操作, 基于其存储架构下, Root Tablet位置涵盖于第一级Chubbyfile内, METADATA Tablets位置信息存在于Root Tablet中, 大量User Table位置信息存在于各MetaDataT-ablets中。结合客户存储数据, 可以在表格内存储分割处理的数据, 各表格可以细分为若干字表, 并在子表服务器内进行保存。通过元数据表、Chubby系统, BigTable可以对系统管理系统开展维护操作。
Root子表处在的子表服务器地址能够通过Chubby下文件体现出来, 全部BigTable下服务器所保存的子表信息均可以借助行记载的方式进行展示, 元数据同样能够细分为若干字表, 于子表服务器内进行保存。Root子表是第一个元数据子表, 能够对元数据表的子表位置信息进行记载, 其中并不包括Root子表。参考Root子表记录, 能够明确具体机器所保存的元数据表下的子表, BigTable程序下表格的子表管理数据信息则被元数据表各行所记录。元数据表中记录行主键即为子表下保存末行主键、各行用户表名, 而子表的相关服务器管理信息则保存于记录行数据内。
在对用户表特定行记录进行查看时, 客户端需要对Chubby系统下文件进行读取, 了解Root子表具体位置信息, 参考Root子表, 得知元数据表下的子表位置, 借助查询记录行主键、待查看用户表相互对标的方式, 明确记录所对应的子表服务器。在本地客户端即可缓存数据信息, 同子表服务器进行通信操作, 就能够对数据信息进行查看。
四、分布式数据存储技术
多源性、多时空、数量庞大及异构是云GIS空间数据的显著特征, 所以系统空间数据通常都为动态化的, 相对杂乱, 所以需要通过分布式的途径来存储云GIS数据, 借助冗余存储的优势, 可以使数据可靠程度得到显著的提升。而传输效率高、吞吐率高及分布式是云存储技术的特征, 因此能够将该技术对空间数据进行管理、保存。运用多项数据库技术能够对空间数据进行管理, 包括NoSQL、HBase和BigTable, 在进行访问的过程中就运用到REST接口、空间数据库连接技术。发挥分布式缓存技术的优势, 可以使后台服务器的压力得到改善, 使响应速度得到显著提升。当下HDFS、非开源GFS是当下关键数据存储技术, 其中针对非开源GFS而言, 谷歌公司将其视作专用文件系统, 能够对大量的搜索数据进行保存, 该系统的分布式结构能够对数据进行大规模、高效化的处理, 同时其也具备良好的扩展性[5]。GFS的硬件设施相对简单, 拥有容错技术, 能够将聚合处理功能提供给使用者。多数chunkserver及独立master共同构成了GFS体系。
(1) 针对基于GFS的chunkserver., 各文件均涵盖了大小明确的chunk, 各块拥有对应的chunk handle标志 (64位) , 其主要是master结合创建时间而构建, 一旦形成不再变化。本地磁盘下, 借助Linux文件系统, chunkservers能够对chunk进行存储, 参考字节范围、chunk handle, Linux文件系统也可以对chunk数据信息进行读写处理。大量chunkserver可以备份处理chunk, 使数据可靠程度明显提升。
(2) 全部文件系统元数据由master统一进行管理, 涵盖了大量信息, 例如:当下块位置信息、文件到块映射关系、块命名空间等。master.同样能够对系统活动进行管控, 这些活动涉及垃圾收集孤儿块、块迁移和管理块租约等[6]。借助HeartBeat消息, master能够在特定时间同各chunkserver进行沟通, 搜集chunkserver状态, 并将指令向其进行传输。
(3) 文件系统API涵盖于client代码内, 同时chunkserver、master能够同client进行有效通信, 进而支持系统读写数据的操作。仅在元数据处理方面, master、client二者进行交换, 致使chunkserver与全部数据都能开展通信活动, 但是文件数据不能够在chunkserver、client下进行缓存, 主要缘由为数据量极为庞大, 而且工作集也相对较大。此外, 由于client同chunkserver无需顾及文件数据的缓存一致与否的状况, 所以能够使系统得到进一步的简化, 客户程序也更加直接、有效。
五、结语
在网络信息技术日益更新、发展的过程中, 计算机存储技术的应用更加广泛, 发挥的作用越来越重要。而面对GIS数据管理的需求, 充分发挥计算机存储技术的优势, 能够使数据管理的安全程度得到显著提升, 同时是数据可用性也得到显著改善, 加快了GIS技术的进一步发展及实践运用。
摘要：GIS信息数据更新速度较快, 形成的数据量极为庞大, 怎样对海量数据进行高效化的管理成为当前的首要问题。本研究对多媒体存储技术信息、虚拟化数据管理技术和分布式数据存储技术进行介绍, 分析了GIS数据管理中计算机存储技术的应用。
关键词：GIS数据管理,计算机存储技术,库存管理,应用
参考文献
[1] 刘军, 鞠建荣, 刘清华.基于GIS的地铁工程勘察数据库管理系统的设计与实现[J].城市勘测, 2012 (1) :167-169.
[2] 吴蜜.嵌入式GIS的终端软件设计分析[J].计算机光盘软件与应用, 2014 (22) :82-83.
[3] 孟庆武, 孟露, 吴健等.基于UML的GIS空间数据管理系统的设计[J].北京测绘, 2011, 35 (3) :38-43.
[4] 王璐.计算机存储系统的管理技术探讨[J].电子技术与软件工程, 2014 (3) :198.
[5] 侯天凤.巧用非计算机存储信息健壮自己的密码[J].数字通信世界, 2017 (9) :19-21.
[6] 刘瑜, 徐爱锋, 张洪艳.GIS数据应用体系框架研究[J].测绘与空间地理信息, 2011, 34 (2) :157-158.