论文题目：基于BERT多任务联合训练的土木工程问答系统研究
摘要：目前土木工程领域信息化服务建设正处于发展阶段,设计人员在设计过程中会涉及到大量知识检索和知识问答的需求,而目前大量的领域知识、规范和标准都是非结构化文本的形式,知识库的构建存在着难度,口语化的自然语言问题也无法被有效解析,问答需求无法被满足。因此本文选定土木工程垂直领域的智能问答应用作为切入点,使用新型自然语言处理方法深入研究面向该领域的智能问答技术。本文的工作是基于知识库的土木工程智能问答系统构建,主要涉及自然语言处理技术。按上下游具体技术难点,分为问答句对自动构建技术、知识库自动构建方法、智能问答方法、智能问答系统构建四个方面。（1）针对土木工程领域问答句对语料数据量小的问题,提出了一套用于扩充问答句对数据集的模型方案,该方案是BERT、Transformer和UniLM结合的序列学习模型,使用二次预训练方法将大量开放域语料的语法、句法规则迁移到土木工程领域,结合该领域内的少量人工标注数据获取语义信息,并对模型堆叠模块随机采样分层训练,优化参数后生成高质量领域目标问句,最终形成领域自然语言问答句对数据。模型生成问句质量达到了最佳的26.19-BLEU,相比基线模型LSTM提升达12.78。（2）针对知识库构建难的问题,提出了用于自动化构建知识库的联合训练端到端深度学习模型CivilWoSpERT。该模型是基于子序列片段Span、融合了词晶格嵌入表示机制的命名实体和关系联合抽取方案。最终在命名实体识别任务上达到了 87.47的F1值,在关系抽取上达到了 78.66的F1值。（3）针对智能问答方法,提出了一种基于知识库的快速问答方法,该方法可解析自然语言问题并通过知识库检索返回目标答案。（4）在智能问答系统的构建方面,主要对系统进行前三阶段模型和方法的融入,采用主流的前后端分离Web系统方案完成整个智能问答系统的搭建。本文旨在通过以上内容对土木工程领域智能问答系统深入研究,逐个解决数据集数量小、信息抽取难度大、传统知识库对领域知识覆盖不足等针对性问题,通过深度学习方法构建一套能够满足实际智能问答需求的土木工程智能问答系统。
关键词：知识图谱;问答系统;实体关系抽取;BERT;Transformer;深度学习
学科专业：计算机科学与技术（专业学位）
摘要
ABSTRACT
1 绪论
1.1 研究背景和意义
1.2 国内外研究现状
1.2.1 知识库问答
1.2.2 自然语言问答句对构建技术
1.2.3 自然语言问答生成技术
1.2.4 联合信息抽取技术
1.3 研究内容和组织结构
2 数据集定义与构建
2.1 信息抽取相关数据集
2.2 问答句对生成相关数据集
2.3 本章小结
3 面向土木工程领域的问答句对生成技术
3.1 Transformer模型
3.1.1 堆叠编码器-解码器结构
3.1.2 注意力机制
3.1.3 绝对位置编码
3.2 BERT语言模型
3.3 问答句对生成形式化定义
3.4 问答句对生成任务模型描述
3.4.1 土木工程领域文本的预训练
3.4.2 统一的编码-解码器
3.5 生成问答句对的训练和推断
3.6 实验结果
3.6.1 实验设置
3.6.2 基线模型与评价指标
3.7 分析与讨论
3.7.1 机器评价结果与分析
3.7.2 人工评价结果与分析
3.8 本章小结
4 面向土木工程领域的联合信息抽取模型
4.1 模型介绍
4.1.1 预处理模块
4.1.2 Transformer模块
4.1.3 分类器模块
4.2 模型训练
4.2.1 领域适应性预训练
4.2.2 任务适配二次预训练
4.2.3 多任务训练
4.3 实验结果
4.4 本章小结
5 智能问答系统问答方法
5.1 概述
5.2 基础知识库与知识库的扩充
5.2.1 基准知识库数据预处理
5.2.2 基准数据集的知识扩充
5.3 子序列片段基础的命名实体识别
5.4 属性映射
5.5 实验
5.6 本章小结
6 智能问答系统设计与实现
6.1 智能问答系统需求分析
6.1.1 系统业务需求
6.1.2 系统功能需求
6.2 智能问答系统建模
6.2.1 系统用例图描述
6.2.2 系统问答功能时序图
6.2.3 智能问答子系统结构化设计
6.3 智能问答系统的构建技术路线
6.3.1 系统总体架构
6.3.2 系统功能流程设计
6.3.3 系统技术架构设计与实现
6.4 智能问答系统的平台测试
6.4.1 智能问答功能
6.4.2 图谱的可视化展示
6.4.3 问答句对生成
6.5 本章小结
7 总结与展望
7.1 工作总结
7.1.1 研究背景和研究工作
7.1.2 研究成果与论文创新点
7.2 未来工作展望
致谢
参考文献