论文题目：基于深度学习的教师语音情感识别研究
摘要：情感表达是人类交流互动的重要组成,通过语音情感识别技术赋予机器识别、理解和表达情感的能力,是人工智能未来发展的方向。近些年,语音情感识别在情感计算、学习情感检测、心理健康分析、客户服务检测等方面的快速发展而备受关注。在人工智能教育领域,教师教学话语是课堂教学的主要方式,教学情感作为教学评价的主要评估依据,深刻影响着教师的教学方式、课堂氛围和教学效果。而面对海量的教学数据,目前针对教师情感判定和课堂氛围分析主要采用课堂观察、调查问卷和教师访谈等传统人工方法。因此如何利用深度学习技术自动识别教师话语情感,实现课堂氛围智能分析,是教育大数据下教学评价面临的主要问题。针对目前人工智能教育领域缺乏对教师情感的智能化评价方法的问题,本文提出一种将帧级特征和话语级特征融合的教学语音情感识别模型,本模型将帧级特征和话语级特征相融合,并在开源数据库和教学语音数据库上进行语音情感识别实验,最终应用到真实课堂中,利用教学语音情感识别系统可视化展示教学情感和课堂氛围。实验结果表明,本方法在语音情感识别任务中,相对其他主流方法具有很好的识别效果。本文主要工作和创新点包含如下三个方面:首先,本文根据语音的时空特征设计了不同的语音情感特征提取模块,针对语音的帧级时序特征和话语级全局特征,分别设计了基于帧级特征表征学习和基于话语级特征表征学习两种语音情感识别模型,并在开源语音数据库上进行了语音情感识别实验。实验结果表明,两种特征表征模型在情感识别任务中各有优势。其次,本文将语音的空间特征和时序特征的优点相结合,提出了一种基于MALSTM-FCN-LSTM并联网络（LFL-Net）,其中MALSTM-FCN网络提取语音信号的空间和时序特征,LSTM网络提取语音信号的全局特征,融合后提高了特征的表征能力。实验结果表明,采用基于LFL-Net的网络模型在开源的语音情感库中测试,取得了较好的识别效果。最后,基于传统课堂教学场景,我们采集中学课堂的教学场景语音数据,对语音数据进行包括杂音剔除、降噪、静音切割等预处理,然后进行人工校对和标注,建立了教学语音情感语料库TSEC。利用在语料库上训练好的LFL-Net模型实现对教师教学语音情感的自动识别,并可视化展示课堂教师的情感和课堂教学情感氛围。
关键词：深度学习;语音情感识别;特征融合;教师情感;课堂氛围
学科专业：计算机科学与技术
摘要
Abstract
第一章 绪论
1.1 研究背景及意义
1.2 国内外研究现状
1.2.1 语音情感识别研究
1.2.2 课堂教学情感研究
1.3 主要工作及贡献
1.4 论文组织结构
第二章 语音情感识别相关理论与技术
2.1 语音情感描述模型
2.2 语音情感语料库
2.2.1 IEMOCAP语料库
2.2.2 CASIA语料库
2.3 端点检测
2.4 分类方法与损失函数
2.5 评估指标
2.6 本章小结
第三章 基于帧级特征和话语级特征的语音情感识别
3.1 深度学习网络介绍
3.1.1 长短时记忆神经网络
3.1.2 注意力模型
3.1.3 压缩和激励模块
3.2 基于帧级特征表征学习网络的语音情感识别实验
3.2.1 帧级特征表征学习网络
3.2.2 帧级特征提取
3.3 基于话语级特征表征学习网络的语音情感识别实验
3.3.1 话语级特征表征学习网络
3.3.2 话语级特征提取
3.4 实验结果及分析
3.4.1 IEMOCAP数据库实验结果与分析
3.4.2 CASIA数据库实验结果与分析
3.4.3 实验结论
3.5 本章小结
第四章 基于LFL-Net的语音情感识别
4.1 LFL-Net网络模型
4.2 实验设置
4.2.1 开源语音情感数据
4.2.2 实验参数
4.3 对比实验结果分析
4.4 本章小结
第五章 基于LFL-Net的教师情感识别应用
5.1 课堂教学情感数据集
5.1.1 教师语音情感分类
5.1.2 数据集预处理
5.2 实验方案
5.3 实验结果分析
5.4 教学语音情感识别系统
5.5 教学语音情感识别结果分析
5.6 本章小结
第六章 总结与展望
6.1 研究总结
6.2 不足与展望
参考文献
致谢