论文题目：基于领域的文献检索系统的设计与实现
摘要：随着互联网信息检索技术的发展,人们迫切的希望从海量半结构和无结构化的数据中获取与自身需要和兴趣吻合度高的内容,如何对这些文本进行有效的分类,进而发现有价值的信息是各领域研究人员不断探索的话题。本课题通过对近年来各种检索方法进行相关研究,并总结其优缺点提出了使用多种特征值共同计算的领域知识库构建方法,使用深度语义词向量构建文本的方式来判别文本相似度。具体研究内容:本文对基于语义训练模型,特征提取算法,词袋模型的信息检索方式进行了研究,选取了最优的检索方法与模型。通过对数据的选取,模型参数的优化以及多次训练得到高质量的词语义表示模型;使用多特征提取算法计算出文本的多种特征属性值,并以此为基础实现了领域知识库的创建;对文本相似度的相关算法进行研究并实现,系统使用连续词袋模型计算文本的相似度用于文献检索,以此为基础构建了基于领域的文献检索系统并用于实践。通过实验数据对比得出:从语义出发的文本分析反映的文本信息更加全面,结合多特征提取的算法能很大程度改善系统的检索结果。系统根据现有研究成果及文本研究领域人员对文本的使用需求,设计了领域信息工作者可以管理与查询数据资料的文献检索系统,可为不同的用户创建相互独立的数据资料库。系统对资料库之间进行了有效的隔离,使用权限管理系统功能,对领域知识库的管理更新与检索提供了支持。系统利用开源的SSM框架技术进行开发,用户可以管理个人资料库,做到资料库的实时更新。同时,系统提供上传、下载、查看、多特征提取、文献检索等功能。系统的创新之处在于使用多种特征共同计算代替单特征计算的方式,使文本表示更加全面、准确,一定程度解决了文本在计算过程中因信息不完整或文本过于复杂造成的计算不准确问题;使用深度语义模型训练文本语义,基本消除了语言文字歧义及语序变化导致的错误判断结果;在文本相似度研究阶段改变了文本的传统表示方式,从语义出发改变文本的计算方式,一定程度上提高了文本相似度计算的准确性与高效性。
关键词：文献检索;多特征值计算;领域知识库;词语义转换;文本相似度判别
学科专业：软件工程（专业学位）
摘要
abstract
第一章 绪论
1.1 背景、目的和意义
1.2 国内外研究现状
1.3 论文的主要工作、创新点和研究意义
1.3.1 本文的主要工作
1.3.2 本文的主要创新点
1.3.3 论文的研究意义
1.4 论文的组织结构
第二章 多特征领域主题词表的研究与实现
2.1 文本多特征提取的基本思想
2.2 多特征提取算法
2.2.1 TF特征(TermFrequency)
2.2.2 TF-IDF特征(TermFrequency&InverseDocumentFrequency)
2.2.3 词频分布熵(TermDistributionEntropy)
2.2.4 文本分布熵(DocumentDistributionEntropy)
2.2.5 多特征值计算(Multi-Feature)
2.3 多特征主题词表设计实现
2.3.1 多特征主题词表构建流程
2.3.2 多特征值表的实现
2.4 多特征领域词表构建
第三章 深度语义模型的研究与实现
3.1 深度语义模型的基本概念
3.2 模型构建的相关技术
3.2.1 模型概述
3.2.2 模型实现方法
3.2.3 实验结果分析
3.3 文本相似度判别的方法
3.4 相似度实验结果分析
第四章 系统需求分析
4.1 系统性能分析
4.2 系统目标分析
4.3 系统功能需求分析
4.3.1 用户管理模块
4.3.2 领域文档管理模块
4.3.3 文本相似度判别模块
4.3.4 领域词库管理模块
4.3.5 领域词向量管理
第五章 系统总体设计
5.1 系统架构设计
5.2 系统功能结构设计
5.3 数据库设计概述
5.3.1 数据库概念设计
5.3.2 数据库表逻辑结构
5.4 系统主要功能模块流程设计
5.4.1 多特征值计算模块
5.4.2 系统资料库与个人资料库构建模块
5.4.3 文本检索模块
5.4.4 文本领域分类管理模块
第六章 系统功能实现
6.1 用户管理
6.1.1 用户登录管理
6.1.2 用户信息管理
6.2 用户资料管理
6.2.1 查询系统资料库
6.2.2 查看个人资料
6.2.3 上传个人资料库
6.2.4 多特征提取
6.2.5 用户资料下载
6.3 系统资料管理
6.3.1 系统单文本上传
6.3.2 系统的多文本上传
6.3.3 查看用户和系统资料库
6.3.4 领域分类管理
6.3.5 分词词库更新
6.4 文本检索
6.4.1 余弦语义相似度计算
6.4.2 关键词检索
6.4.3 文本内容检索
6.5 系统性能测试与分析
6.5.1 系统开发与运行环境
6.5.2 系统压力测试分析
6.5.3 检索结果分析
第七章 总结与展望
7.1 全文总结
7.2 研究展望
参考文献
致谢