论文题目：在线学习环境下的表情识别算法及应用研究
摘要：人类的行为和认知都会受到情感的驱动,情感的识别是认识人类发展的关键途径。人脸表情识别是情感识别中的重要部分,因为在人类的日常交流中,55%的信息通过面部表情传递。表情识别指计算机从面部图像中自动地分类人类的情感,是视觉技术领域中的热门研究课题,对各学科发展都具有非常重大的意义。尤其在教育领域,表情识别展现出越来越突出的作用。现代化的教育突出强调“以人为本”的核心发展观,因此,学生学习过程中的认知负荷测量至关重要。认知负荷反应学生的心理和信息的交互能力,可以为教学和学习提供重要的指导。特别是在在线学习环境中,学习资源丰富,知识量大,很容易出现负荷超载的问题。因此,通过学生的表情识别他们的情感,并应用到认知负荷检测中,有助于实现个性化教学,对学生的学习和健康成长具有很大的促进作用。随着深度学习等相关技术的进步,表情识别取得了迅速的发展,然而当前算法的性能仍然远远无法满足实际的应用需求。特别是在自然场景中,例如在线学习等环境,由于头部姿态变化、表情的相关性/模糊性和图像的复杂性等因素的影响,表情识别仍然是视觉技术领域的一大挑战。主要体现在三个方面:（1）头部姿态引起的自遮挡影响。自遮挡会造成关键信息的严重丢失,并且会引起面部表观的极大变化,给表情识别带来困难;（2）深度表情识别过拟合问题。自然场景中的表情通常是多元的,具有很大的相关性/模糊性。硬标签不能很好地描述真实的表情,会导致模型过拟合,使训练好的算法在现实应用中发生性能坍塌;（3）判别性特征学习困难。在自然场景下,表情图像具有很大的复杂性。因为图像存在背景、光照强度等极大变化,面部还混合很多无关的属性。因此,图像的噪声耦合度很高。在教学中,学生表情通常不显著,且图像具有低分辨率的特点。因此,当面向具体的在线学习环境时,表情判别性特征学习尤为困难,很容易导致识别性能下降。本文针对上述挑战,结合深度学习先进技术,提出提升自然环境下表情识别性能的新算法,同时开展在线学习认知负荷检测的应用研究。针对上述目标,本文的主要研究内容概述如下。（1）构建头部姿态鲁棒的深度笑脸检测模型,解决自遮挡问题。笑脸是人类最常见的表情,笑脸检测有着广泛的应用前景。本研究提出了一个基于卷积神经网络的鲁棒性笑脸检测框架,缓解头部姿态变化的影响并提高检测性能。提出的框架定制了两个层:a)利用隐含因子分析构造的头部姿态鲁棒的特征提取层。把隐含因子分析引入深度学习网络中,学习不同头部姿态下的笑脸表示;b)利用边缘Fisher分析构造的区分性特征提取层。边缘Fisher分析是一种数据挖掘模型,可以把数据映射到类别更容易分离的空间。本研究在深度学习网络中引入边缘Fisher分析,进一步学习区分度高的特征,提升笑脸检测准确率。这两个层都作为全连接层,依次连接到主干网络中。和当前先进方法的实验结果对比表明,所提方法获得了更好的笑脸检测性能。（2）构建基于软标签多样性增强集成的表情识别模型,解决过拟合问题。提出的模型包括三个模块:软标签构造、基分类器深度正则化训练和集成预测。其中,a)软标签构造器构造表情的概率分布——置信度小于100%的标签矢量,其可以描述图像的真实表情类别及与其它类别之间的相关性/模糊性,提供表情的全局关系视图。这一模块包括两个主要的工作步骤:使用硬标签训练构造器的深度模型,以及融合预测得到的潜在概率矢量得到软标签;b)基分类器使用软标签进行训练,其提供了更多的逻辑相关信息作为监督,起到深度学习中的正则化作用,可以有效地防止过拟合。此外,提出了标签扰动策略,提升基分类器的多样性;c)在集成预测模块中,通过分数平均准则组合基分类器,得到一个强分类器。在公开数据集上的实验结果表明,所提方法可以有效地防止过拟合。（3）构建基于多注意网络的表情识别模型,解决判别性特征学习困难问题。本研究将人类从粗到细的视觉注意力引入到深度学习网络中,并进行不同感受野注意的连通,实现增强的注意。注意机制可以有效地抑制无关信息并增强相关信息,促进判别性特征的学习。在所提的多注意网络中,区域感知子网学习从粗到细的表情相关区域的定位掩码,表情识别子网利用掩码来融合多视觉注意。在表情识别子网中,多注意模块包含一个具有多个子分支的混合注意分支,每个子分支学习当前特定区域的感兴趣特征,对噪声进行解耦。多注意模块还包含一个权重学习分支,用于自适应地学习不同区域的重要性,并对多样性的注意进行连通感知。和同类方法的实验结果对比表明,所提方法具有更好的现实应用潜力。（4）构建应用表情识别的学生在线学习认知负荷检测模型。现有的认知负荷研究方法缺乏情感的测量,存在一定的局限性。本研究面向在线学习环境,通过提出的表情识别算法对学生学习过程中的情感进行测量。此外,还测量任务绩效、主观评价等指标。最后,融合多维度指标进行学生认知负荷的综合检测。本研究将学生认知负荷的检测结果与真实负荷水平进行对比,表明所提方法的有效性。总的来说,本文提出了基于深度学习的新算法,可以有效提升自然场景下的表情识别性能,促进该领域的发展。此外,本文开展了所提表情识别算法在在线学习认知负荷检测中的应用研究,可为教学的优化提供理论和技术支持。该研究有利于促进人工智能、计算机视觉、智能教育等交叉学科的发展。
关键词：表情识别;深度学习;认知负荷检测
学科专业：教育信息技术
摘要
Abstract
第1章 绪论
1.1 研究背景和意义
1.2 国内外研究现状
1.3 面临的挑战
1.4 研究内容和创新点
1.5 论文组织
第2章 深度学习和表情识别算法简介
2.1 深度学习
2.1.1 人工神经网络及深度学习简介
2.1.2 神经网络的推导
2.1.3 卷积神经网络
2.1.4 流行架构
2.2 表情识别
2.2.1 传统的表情识别算法
2.2.2 基于深度学习的表情识别算法
2.3 本章小结
第3章 头部姿态鲁棒的深度笑脸检测
3.1 相关方法概述
3.1.1 隐含因子分析
3.1.2 边缘Fisher分析
3.2 头部姿态鲁棒的深度笑脸检测
3.2.1 总体框架
3.2.2 头部姿态鲁棒的笑脸表情特征提取层
3.2.3 区分性特征提取层
3.2.4 训练
3.3 实验结果及分析
3.3.1 数据集描述
3.3.2 参数配置
3.3.3 在GENKI4K数据集上的性能比较
3.3.4 在LFWA数据集上的性能比较
3.3.5 消融实验
3.4 本章小结
第4章 基于软标签多样性增强集成的表情识别
4.1 相关方法概述
4.2 基于软标签多样性增强集成的表情识别
4.2.1 总体框架
4.2.2 软标签构造器
4.2.3 正则化训练
4.2.4 多样性集成
4.3 实验结果及分析
4.3.1 数据集描述
4.3.2 参数设置
4.3.3 扰动因子调查
4.3.4 在FER-2013数据集上的性能比较
4.3.5 在SFEW数据集上的性能比较
4.3.6 在RAF数据集上的性能比较
4.4 本章小结
第5章 基于多注意网络的表情识别
5.1 相关方法概述
5.1.1 表情识别方法
5.1.2 深度注意模型
5.2 基于多注意网络的表情识别
5.2.1 总体框架
5.2.2 区域感知子网
5.2.3 表情识别子网
5.2.4 训练
5.3 实验结果及分析
5.3.1 数据集描述
5.3.2 实现细节
5.3.3 在RAF数据集上的性能比较
5.3.4 在CK+数据集上的性能比较
5.4 本章小结
第6章 表情识别在在线学习认知负荷检测中的应用
6.1 认知负荷自动化检测模型
6.2 实验设计
6.2.1 评价指标
6.2.2 实验对象
6.2.3 实验平台
6.2.4 实验材料
6.2.5 实验程序
6.2.6 数据预处理
6.2.7 神经网络认知负荷检测模型
6.3 认知负荷检测结果与分析
6.3.1 均值和方差分析
6.3.2 相关性分析
6.3.3 认知负荷检测误差分析
6.3.4 情感指标有效性分析
6.4 本章小结
第7章 总结和展望
7.1 总结
7.2 展望
参考文献
致谢