基于异构数据仓库开发模式的“高校物联网区域”研究

2022-12-30

1“高校物联网区域”的现状和问题

随着新一代物联网建设理念的推出, 我们研究构筑一个高校范围内物联网平台, 在这个区域内, 把“源信息”、“集成信息”等数据信息有效组合起来, 构成一个物联网区域。这一应用, 使得高校信息化进入主动信息集成阶段, 物联网使得物体自己“说话”, 通过在物体上植入各种微型感应芯片、借助无线通信网络, 与现在的互联网络相互联接, 让其“开口”。所以说, 互联网是连接的虚拟世界网络, 物联网是连接物理的、真实的世界网络。它的建设拓展了原有的管理理念和模式, 顶层设计方法和信息资源规划得到了广泛的发展。

目前“高校物联网区域”[1]的建设, 各应用系统自成体系, 结构各异, 主要表现为:

(1) 系统集成很少考虑数据共享; (2) 应用集成数据交换困难; (3) 信息集成时数据整合扩展性能不佳。我们利用异构数据库开发模式, 统一开发环节中的数据库系统, 提高物联网区域的查询服务效率。通过底层数据库设计和异构数据库同步技术完善高校物联网区域的建设。

2 异构数据库开发模式

2.1 3种异构数据库开发形式

(1) 联邦数据库。对成员数据库进行分布集成, 提供数据共享和透明访问, 具有自主性、分布性和异构性的特征。

(2) 中间件系统。系统通过中间件将各数据源的数据集成起来, 各数据源经过核心转化模块对数据进行转换达成规格模式。如MS sql server, Sybase, Oracle等。其客户端访问接口各不相同。当开发模块需要访问运营模块数据时, 需要和不同的数据库打交道, 数据库访问中间件满足要求。

(3) 数据仓库。客户端和“物联网区域”之间有一个新的功能层, 称为数据仓库。它把多种数据源按照统一结构要求进行转换, 形成统一模式存储。其优点是数据高度集中, 建立客户端较为方便, 能在物联网区域内部高效处理。

2.2 异构数据仓库开发模式

异构数据仓库开发模式基于底层数据库设计模块、物联网数据集成平台以及分布式查询服务。通过这样的开发模式, 可以有效的规范物联网区域建设过程中数据存储结构, 综合查询信息加以分析使用。

2.2.1 底层数据库设计

元数据服务 (metadata service) 提供底层数据库管理系统所具有的信息, 如数据库名字, 数据库内容等, 并负责向虚拟GDS提供不同数据库的视图和模式转换信息。虚拟GDS是一个类似于虚拟数据库系统的数据库访问代理, 能够完成数据库的联合操作。在数据库的应用部分可采用这样的代码:

2.2.2 物联网数据集成平台

异构数据库主要体现在:计算机体系结构的异构, 基础操作系统的异构, DBMS本身的异构。它的具体设计目标如下。

(1) 为各异构数据源提供统一的数据集成接口, 实现异构数据源的即插即用, 同时保证各异构数据源系统的自治性。

(2) 屏蔽数据源的异构性, 为上层应用提供统一的数据访问视图, 使得各个不同部门能够根据授权, 实时的从其他部门获得所需要的数据。

(3) 在保证数据实时性和一致性的前提下, 对应用系统的请求具有较高的执行效率。

(4) 保证上层应用能够根据需要获得实时数据的同时, 也能根据需要利用数据仓库或数据集市对历史数据进行分析和应用。

2.2.3 分布式数据查询服务

异构数据仓库数据查询有2种方式, 一种是增量提取的数据, 即根据配置文件里的上次同步结束时间取出数据库里新增加的数据。第二种是差异更新的数据, 上次同步结束后, 同步表中可能某条记录被更新或者删除, 这些记录的信息由触发器记录到控制表中, 下次同步时, 系统读取控制表中的信息, 查询出相关数据后转化为e xtensible markup language文件。

3 决定性因素模块影响的“物联网区域”系统结构

大量的研究证实存在着一些关键性的领域在数据仓库的实行过程中需要被考虑。在此基础上, 我们给出了这样一个基本的模型。如图所示。这些因素本身就对数据仓库的执行过程具有重要的影响, 它们的引入是我们在数据仓库执行中需要关注的关键性问题[2]。

3.1 最高管理层的委托与支持

软件工程师在开始着手进行一个数据仓库的工程之前, 应当获得最高管理层的支持与委托。我们要决定很多数据仓库技术方面的因素:包括数据仓库的支持系统平台、网络构件的模式等等。我们关注这样一些问题。

(1) 在数据仓库最初设计时, 我们应该论证数据仓库如何解决传统决策支持系统无法解决的问题, 帮助决策系统的使用者理解工程的意义所在。

(2) 对于一些原先已有的决策系统, 所设计的数据仓库应该能够支持先前使用的数据查询和即时的数据决策目标。因此对于原有的系统要进行一定的定性分析, 了解先前的使用习惯与数据结构体系。

(3) 在整个工程中, 我们要意识到数据仓库将可能改变决策者、分析者以及执行者所做的工作, 要全面的统筹兼顾使得各方面都可以接受。

(4) 这个数据仓库的执行过程需要有一个具有组织管理能力的数据仓库工程领导。

(5) 一个较好的决策系统, 它一定要兼顾数据管理者所期望的数据仓库的性能。

(6) 我们需要从高级管理者那里得到最初的委托确认, 理解只有高级管理者意识到数据仓库可以帮助他们使用、了解、分析数据才会对数据仓库产生兴趣。

(7) 我们在数据仓库的执行之初应该明白数据仓库有时候需要正确的指导方针、高水平的操作员与组织系统来作为有价值的信息来源。

(8) 同时, 我们要考虑到使用高级的技术进行数据管理系统的最初计划、数据交换。

(9) 当然一个较好的数据仓库能够帮助高级管理者增加需要的基础模块。

3.2 在数据仓库中的完整的有组织表示法

对于最初数据仓库实现的工作来说, 完整的组织表达数据仓库是一个相当重要的方面。软件工程师大量的工作就是确保数据仓库的执行是一个全面的表达过程。数据仓库要将一个真实的事务关系、客观世界的对象表达出来。这个过程要注意的是以下几点。

(1) 由于数据仓库是一个完整的组织, 当我们在清除数据仓库时, 要注意这些数据对原有代码执行所产生的影响。

(2) 我们应当明白数据仓库的执行过程就是对原有数据的不断延伸, 在这之中包含重复使用的数据, 这也就是数据冗余存在的原因。对于数据仓库结构体系的改进将有利于数据查询效率的提高。

(3) 我们所说的数据仓库的完整组织包含一个长期的整体结构。

(4) 为了使新的决策系统更好的使用, 需要培训信息系统人员使得他们理解数据仓库是完全不同于存在的系统的。

(5) 具备一个完整的数据仓库结构:事务对象、信息结构、应用结构、技术结构。

(6) 具备发展的措施能够改变传统的技术发展生命周期。

(7) 一般而言, 数据仓库的处理过程就是数据仓库将大量外部提供的数据变为有使用价值的格式、细致的、正确的数据。

(8) 而这样的工作区别原有的工作在于传统的数据字典仅仅提供一部分的事件工具起到了一小部分数据仓库的作用。

3.3 数据仓库模型的使用

在具体的实施以及发展数据仓库之前, 软件工程师需要长时间的实践数据仓库模型用来决定所选择的技术是否有用。应用一些少量的数据对于数据仓库的重要环节进行测试。

(1) 在数据仓库建立的过程中不断增加原模型的设计认识。

(2) 允许进行测试原型以对数据仓库潜在要求加以认识。

(3) 使用这些原始数据、模拟数据在数据仓库工程的最初阶段想高级管理者演示数据仓库的作用。

(4) 我们可以使用一些模型设计工具。

(5) 在测试的过程中, 让工作人员告诉你他们考虑的过程、想要解决的问题、使用的措施以及这些步骤所要得到的理想数据。

3.4 外部对于数据仓库执行过程的支持

在数据仓库的执行过程, 具有软件工程师背景专家的意见将可以协助数据仓库的执行过程。他们提供经验可以帮助数据仓库的组织。

(1) 聘请顾问支持规范化的模式。

(2) 能够了解这些顾问可以提供重要的信息, 他们具有各种公司管理的经验以及技术。

(3) 这些专家可以引入新的结构技术。

3.5 严格的测试、准备数据仓库的执行

软件工程师在执行数据仓库过程中引入新的技术及方式, 需要进行严格的测试。

(1) 我们必须明白最初的数据仓库的执行需要花费更多的时间, 因为其他工程是以这个为基础而变化。

(2) 其次, 具有一些训练的措施对于数据仓库的发展将更为有利。

(3) 同时, 我们还要意识到最初数据结构的不同将产生不同的数据处理结果。

3.6 完整的广泛规划数据模型

软件工程师们根据决策系统的要求把数据组织起来以数据仓库为基础加以使用, 在这个过程中:

(1) 设置一个规划组来设置数据仓库整体的权限。

(2) 从整体上来解决个别观点无法解决的问题。

(3) 使用用户化的方式制订一种企业标准、接近市场标准。

(4) 使用专门的事件开发工具来增加数据仓库的属性。

(5) 产生一种模拟的训练工具。

3.7 有效重复使用中间数据

软件工程师构造基于物理模型的数据仓库的中间数据模型, 这在银行、保险业系统中标准化的数据相当的多。它可以提高数据的使用有效性。

3.8 认识到潜在的制约对于数据仓库执行的影响

最后, 我们还应该注意的是使用者意识到数据仓库的实现是对他们工作的威胁, 以及数据安全、数据备份增加数据仓库的功能。

4 结语

物联网中非常重要的技术是RFID电子标签技术。以简单RFID系统为基础, 结合已有的网络技术、数据库技术、中间件技术等, 构筑一个由大量联网的阅读器和无数移动的标签组成的, 比Internet更为庞大的物联网成为RFID技术发展的趋势。“高校物联网区域”改变了以往基于事件的工作模式, 利用系统收集工作流程, 并通过分析、归纳, 总结成知识库, 逐步形成基于工作流的工作模式。原有的系统界限和数据库局限被打破, 高校内部的事务, 由网络技术管理员、专业技术人员和终端客户协调完成。集中有限高校资源完善各个环节工作。“高校物联网区域”将成为新一代数字校园的奠基石。

摘要:本文在高校物联网信息平台开发环境中, 提出了基于异构数据库开发模式在物联网区域建设的应用。将八种对于数据仓库执行过程中决定性影响因素与高校物联网信息平台开发结合设计实现。

关键词:物联网,数据仓库,异构数据库

参考文献

[1] 沈培华, 蒋东兴, 等.高校信息化研究与实践[C].高校信息化研究会.全国高校信息化研究会2003学术年会论文集.杭州:高校信息化研究会, 2003:2.

[2] D.W.Bradley and A.M.Tyrrell.The Architecture for a Hardware Immune System[Z].Prcceedings of the third N ASA/DoD workshop on evolvable ha rdware, 2001IEEE.

本文来自 99学术网(www.99xueshu.com),转载请保留网址和出处

上一篇:脾破裂的临床诊治分析下一篇:油气钻井工程项目风险管理体系的研究