论文题目：地质环境数据仓库联机分析处理与数据挖掘研究
摘要：改革开放以来,我国经济得到快速发展,取得了举世瞩目的成就,然而,持续增长的工业化、农业现代化、城镇化进程也引发了地质灾害、地下水过度开采及污染、尾矿污染等一系列严重的地质环境问题,不但对人们的生活造成了越来越大的危害,而且也严重影响了我国经济长久发展的前景。因此,合理地利用各种自然和生态资源、对地质环境进行监控和防治、有效地减少和弥补社会经济的发展对地质环境的不利影响,是维持自然生态平衡、促进经济的可持续发展的一项重要工作。为此,我国构建了国家级、省级、地（市）级的三级地质环境监测与管理部门体系,投入了大量人力、物力,广泛开展地质环境调查工作,全面收集了基础的地质环境数据,建设了完善的地质环境监测网络,实现了对重点对象监测数据的实时采集和传输。随着时间推移,这些地质环境调查数据和监测数据经不断积累已达到了一定的规模,现有的地质环境信息处理系统已经无法有效地对这些数据进行有效的分析和深入的挖掘。主要存在以下问题：（1）上级部门和下级部门、以及平级部门的所用的数据存放平台各异,数据存放很分散且数据格式也不统一,难以实现上下级以及平级部门之间数据的共享；（2）下级部门在形成上报数据的过程中,人工参与比较多,效率不高且容易造成上下级部门之间数据的不一致：（3）地质环境数据量变得越来越庞大,在检索并分析地质环境调查数据以及地质环境监测数据时,大量的查询、连接、聚合运算操作耗时巨大,分析效率低至无法忍受：（4）对地质环境调查及监测数据的分析和评估的手段还不够丰富,没有充分地利用丰富的海量历史数据来对其内部价值进行深入的挖掘,难以找山数据后面隐藏的地质环境演变的规律和模式,也无法评估各类因素对地质环境变化的影响情况。因此,将分散地存放在不同部门的、不一致的海量地质环境调查及监测的历史数据进行抽取、转换后,有机地整合到统一的存储空间,为全方位地分析评估和深入挖掘提供数据源,拓展和发现对地质环境调查及监测数据进行分析评估的新手段,从而最大限度地分析和挖掘出海量数据后面所隐藏的地质环境对象演化演变的规律,为地质环境的评估和治理决策提供更加科学的依据,已经成为新时代地质环境监测及防治信息化建设的首要任务。本文的研究内容源自中国地质环境监测院的地质环境数据仓库建设项目,项目的建设目标是构建集成度更高的、可实现数据融合的地质环境数据仓库,并实现相应的辅助决策应用系统。本文对当前国内外地质环境数据分析和处理手段的现状、我国地质环境管理部门的行政组织结构及业务工作流程、地质环境历史调查和监测数据的分布情况、目前地质环境信息化和数据分析处理工作中存在的不足进行了全面的探讨。在此基础上,提出了一个构建地质环境数据仓库及辅助决策应用系统的完整解决框架。整个框架可对地质环境操作数据库中的数据进行重组,构建地质环境数据仓库及多维数据模型,并实现了数据从操作数据库到数据仓库的清理、转换和加载。同时,还设计和实现了对数据仓库中的数据进行联机分析处理及数据挖掘的算法及模块,为地质灾害预报预警、地下水监测与保护、矿山地质评估、资源承载力评估等各种决策工作提供了支持。本文的主要研究内容有：（1）提出并构建了一个地质环境数据仓库,并实现联机分析处理和数据挖掘功能的完整体系,由此形成了一套地质环境数据集成、分析、挖掘、展示的完整框架。涵盖了从数据的清理、转换和加载,到OLAP多维数据模型的构建及对数据的即时分析处理,再到地质环境数据的深入挖掘等实现数据仓库应用所需的各个环节,有效地提升了地质环境信息的分析和评估的机制,开拓了地质环境管理辅助决策的新途径。（2）在分析现有地质环境数据的分布状态及管理流程的基础上,对地质环境数据进行了整合,设计了地质环境数据仓库的体系结构,并按照“地质灾害监测与治理”、“地下水监测与保护”、“矿山地质环境评估与治理”、“地质遗迹调查与保护”、“地质环境及资源承载力综合评价”等不同的数据集市来组织和存储地质环境历史数据。（3）研究了一套地质环境数据仓库的性能优化方案,综合运用Bitmap索引、分区管理、以及异步CDC增量抽取策略等多种手段,有效地提高了地质环境数据仓库的检索、分析效率。（4）研究构建地质环境多维分析体系的方法,设计、实现多种地质环境多维数据立方,并提供前端系统来实现灵活的联机分析处理。（5）研究基于地质环境数据仓库的数据挖掘模型,深入发现海量地质环境数据下隐藏的规律和模式,设计基于支持向量机的地质灾害时间序列预测、基于神经网络的地下水水质评价、基于综合指数分析法的矿山地质环境评估,基于综合指数分析法的自然资源环境承载力评估等数据挖掘算法。（6）研究、设计了多平台联机分析处理和数据挖掘前端系统的方案,实现了通过Web浏览器、智能手机、平板电脑都可访问地质环境数据仓库的灵活的前端系统,为地质环境数据仓库提供丰富的、直观的用户接口。论文的主要特色和创新点有：①提出并构建了集地质环境数据集成、分析、挖掘、展示为一体的地质环境数据仓库体系,系统地变革了地质环境数据分析的机制,提高了决策效率。②设计了综合运用索引、分区、增量抽取等多种策略的地质环境数据仓库性能优化方案,有效提高了数据仓库的运行效率。③为地质环境数据仓库提供了可在多种平台使用的、丰富灵活的前端系统接口,使数据仓库中的数据获得更加多样的使用途径。论文的不足有：①联机分析处理所使用的Mondrian平台虽然有着很好的移植性,但是在内存分配和处理上还存在着一定的缺陷,而且很难对内部实现细节进行调整。②由于研究时间有限,以及许多业务领域的数据还未汇集完整的原因,没有进一步提出更多的许多数据挖掘算法,并在地质环境数据仓库中加以验证和比较。总之,地质环境数据仓库及其联机分析处理和数据挖掘系统的出现,是地质环境数据处理方式的必然变革,也必定会提高地质环境管理和决策的科学性和效率。
关键词：地质环境;数据仓库;联机分析处理;数据挖掘
学科专业：地球探测与信息技术
中文摘要
abstract
第—章 绪论
§1.1 选题来源、目的和意义
1.1.1 选题来源
1.1.2 选题的目的、意义
§1.2 国内外研究现状
1.2.1 我国地质环境信息系统研究现状
1.2.2 国外地质环境信息系统及数据仓库应用现状
1.2.3 数据仓库、联机分析处理、数据挖掘技术概述
1.2.4 地质灾害数据分析处理技术现状
1.2.5 地下水数据分析处理技术现状
1.2.6 矿山地质环境数据分析处理技术现状
1.2.7 资源环境承载力数据分析处理技术现状
§1.3 存在的问题和发展趋势
1.3.1 地质环境信息处理存在的主要问题
1.3.2 地质环境信息处理的发展趋势
1.3.3 构建地质环境数据仓库的必要性
§1.4 主要研究目标及研究内容
1.4.1 主要研究目标
1.4.2 研究内容
§1.5 研究技术路线
§1.6 本章小结
第二章 地质环境数据仓库构建及多源数据集成
§2.1 数据仓库相关技术及业界现状
§2.2 地质环境数据仓库结构设计的主要步骤
§2.3 地质环境数据仓库的数据集市和主题设计
2.3.1 “地质灾害监测与治理”数据集市
2.3.2 “地下水监测与保护”数据集市
2.3.3 “矿山地质环境评估与治理”数据集市
2.3.4 “地质遗迹调查与保护”数据集市
2.3.5 “地质环境及资源承载力综合评价”数据集市
§2.4 地质环境数据仓库的ETL设计
2.4.1 ETL的架构、功能及清洗转换策略
2.4.2 ETL的实施和部署
§2.5 地质环境数据仓库性能优化设计
2.5.1 地质环境数据仓库的索引策略
2.5.2 地质环境数据仓库的分区策略
2.5.3 地质环境数据仓库的增量抽取策略
§2.6 本章小结
第三章 地质环境联机分析处理模型的研究与分析
§3.1 联机分析处理技术
3.1.1 OLAP的定义
3.1.2 OLAP的基本概念
3.1.3 OLAP的多维分析操作
3.1.4 OLAP的实现方式
§3.2 地质环境联机分析处理模型研究
3.2.1 地质环境数据仓库OLAP系统的体系结构及实体化视图
3.2.2 “地质灾害监测与治理”集市多维模型设计
3.2.3 “地下水监测与保护”集市多维模型设计
3.2.4 “矿山地质环境评估与治理”集市多维模型设计
3.2.5 “地质遗迹调查与保护”集市多维模型设计
3.2.6 “地质环境与资源承载力综合评价”集市多维模型设计
§3.3 本章小结
第四章 地质环境数据仓库数据挖掘模型的研究与分析
§4.1 数据挖掘技术
4.1.1 数据挖掘的基本概念
4.1.2 数据挖掘、OLAP、数据仓库的区别与联系
§4.2 地质环境数据挖掘、分析、评估的主要指标
§4.3 基于支持向量机的滑坡位移时间序列预测模型
4.3.1 构建滑坡位移时间序列的滞后空间
4.3.2 移除滑坡位移时间序列的增长趋势
4.3.3 滑坡位移时间序列的标准化
4.3.4 确定滞后时间窗口的大小
4.3.5 建立滑坡位移支持向量机时间序列预测模型
4.3.6 使用支持向量机模型来预测滑坡位移
4.3.7 模型的对比与分析
§4.4 BP神经网络地下水水质评价模型
4.4.1 传统的地下水水质评价标准
4.4.2 BP神经网络地下水水质评价模型
§4.5 矿山地质环境综合指数评价模型
4.5.1 矿山地质环境的评价指标体系
4.5.2 矿山地质环境评价指标权重的确定
4.5.3 矿山地质环境综合指数法评估模型
§4.6 自然资源环境承载力综合指数评价模型
4.6.1 自然资源环境承载力的评价指标体系
4.6.2 自然资源环境承载力评价指标权重的确定
4.6.3 自然资源环境承载力综合指数法评估模型
§4.7 本章小结
第五章 联机分析处理与数据挖掘前端系统设计
§5.1 联机分析处理与数据挖掘前端系统的特点
§5.2 前端系统设计与实现的关键技术
5.2.1 Oracle Application Express平台
5.2.2 AJAX技术
5.2.3 图形和动画技术
§5.3 地质环境联机分析处理前端系统实现
5.3.1 动态生成多维表达式(MDX)和XMLA
5.3.2 联机分析系统前端系统的设计
5.3.3 动态实时生成地质环境立方体Catalog(XML)
5.3.4 OLAP动态报表模型设计
§5.4 地质环境数据挖掘前端系统实现平台
5.4.1 基于ODM的数据挖掘系统架构
5.4.2 数据挖掘算法分类
5.4.3 实施数据挖掘的主要步骤
5.4.4 Oracle数据挖掘API(ODM APIs)
5.4.5 数据挖掘模型的管理及导入、导出
5.4.6 地质环境数据挖掘用户权限的设计
§5.5 地质环境数据挖掘前端系统展示
5.5.1 基于支持向量机的滑坡位移预测模块
5.5.2 BP神经网络地下水水质评价模块
5.5.3 矿山地质环境综合评价模块
5.5.4 自然资源环境承载力综合评价模块
§5.6 地质环境数据仓库与GIS空间数据的结合
5.6.1 数据仓库与GIS结合的解决方案
5.6.2 数据仓库与GIS结合的实现
§5.7 地质环境数据仓库移动客户端
5.7.1 地质环境数据仓库移动系统的总体架构
5.7.2 基于Android智能手机的移动客户端
5.7.3 基于Windows8平板电脑的移动客户端
§5.8 本章小结
第六章 结论与建议
§6.1 结论
§6.2 特色与创新
§6.3 论文的不足
§6.4 未来工作展望
致谢
参考文献