论文题目：融合多源信息的建筑物结构类型深度学习提取方法研究
摘要：建筑物是地震灾害中的主要承灾体,快速获取建筑物的结构类型信息,评估建筑物的抗震能力,对于减轻地震所造成的经济损失,减少地震所造成的人员伤亡,具有十分重要的现实意义。深度学习技术的快速发展,为解决这一问题提供了一种新的解决思路。多源空间信息可以弥补单一遥感影像所存在的不足,实现信息补充,拓宽输入数据所包含信息的覆盖范围,提升预测结果的精度,提高预测模型的鲁棒性。论文以此为研究目标,提出了融合高分遥感影像、POI、建筑物建造年代、高度等多源多模态信息的建筑物及其结构类型提取方法,构建了UNet+DBM深度学习神经网络模型,提高了建筑物及其结构类型信息提取的准确性和自动化程度。主要研究内容如下:1、开展了多模态深度学习网络模型的选择研究。详细分析了目前常用的深度学习图像语义分割网络模型的结构特点以及其应用优势,并根据研究所使用的影像与文本的两种模态数据,选择U-Net神经网络模型作为本文深度学习基础网络模型。2、分析了前端融合、中间融合和后端融合三种多模态数据融合方式的特点,针对现场调查数据小样本问题,将深度玻尔兹曼机（DBM）的网络架构加入U-Net神经网络中,采用后端融合的方式构建了U-Net+DBM神经网络模型,用于影像和文本的多模态数据融合提取建筑物结构类型信息。3、基于北京海淀区北京二号卫星影像和现场调查数据,建立了砖木、砖混、钢混、钢结构四种结构类型建筑物的多模态样本数据,包括遥感影像与建筑物高度、POI、建造年代等属性信息。研究了样本增强方法,采用旋转、对比度增强、锐化增强、色彩增强进行样本增强,经增强处理后样本数量扩增为原样本数量的16倍。4、基于构建的U-Net+DBM神经网络模型与样本数据集,开展了多源数据建筑物及其结构类型提取实验研究。考虑到实际应用中各属性信息的完备情况,论文设计了遥感影像与高度、POI、建造年代三个属性中单个属性、两个组合属性、三个组合属性的8项实验,分析比较各个深度学习模型不同结构类型建筑物提取的准确率、召回率、F值、IoU、MIoU。实验结果表明,融合多源空间信息,包含POI、年代、高度与遥感影像的神经网络模型可以有效的提高建筑物结构类型的提取精度,各结构类别精确率、召回率提高约20%,IoU提高约25%,总体精确率由仅用影像时66%,加入POI、年代与高度后提高到85%,多模态融合提取提高约20%,MIoU由仅用影像时50%,加入POI、年代与高度后提高到75%,提高约25%。此外,研究表明各属性信息对建筑物结构类型提取精度的影响大小为:高度信息＞年代信息＞POI信息,并且高度信息对钢混、钢结构建筑物的影响要大于对砖木、砖混结构建筑物的影响。综上,本文所构建的融合多源多模态的UNet+DBM的神经网络模型,可明显提高建筑物结构类型信息提取的精度,在建筑物地震灾害风险普查中具有较好的应用前景。
关键词：建筑物;遥感图像;深度学习;语义分割;U-Net;多模态融合
学科专业：构造地质学
摘要
Abstract
第一章 绪论
1.1 研究目的与意义
1.2 国内外研究现状
1.2.1 传统建筑物信息提取方法
1.2.2 人工神经网络提取方法
1.2.3 多模态特征融合方法
1.3 存在的主要问题
1.4 论文结构与技术路线
1.4.1 研究内容与章节安排
1.4.2 技术路线
第二章 深度学习语义分割网络
2.1 深度学习技术
2.2 图像语义分割网络
2.2.1 FCN网络
2.2.2 Seg-Net网络
2.2.3 U-net网络
2.2.4 Mask R-CNN网络
2.2.5 Deeplab系列网络
2.3 本章小结
第三章 多模态融合图像语义分割
3.1 多模态数据融合
3.2 深度玻尔兹曼机(DBM)
3.3 U-net+DBM网络模型
3.4 本章小结
第四章 实验数据与处理
4.1 遥感影像的收集与处理
4.1.1 同名点采集与优化
4.1.2 正射校正
4.1.3 锐化融合
4.2 多源信息的收集与处理
4.2.1 POI数据的收集与用途信息的挖掘
4.2.2 现场调查数据的收集与处理
4.3 样本数据集的构建
4.3.1 建筑物结构类型的划分
4.3.2 样本数据集的制作
4.4 样本增强处理
4.5 本章小结
第五章 建筑物结构类型提取实验
5.1 实验环境
5.2 模型评价指标
5.3 实验方案设计
5.4 实验模型的构建
5.5 实验结果与分析
5.6 本章小结
第六章 总结与展望
6.1 本文工作总结
6.2 未来工作展望
参考文献
致谢