论文题目：生成对抗网络的文本生成和编辑图像研究
摘要：近年来,随着深度学习和生成对抗网络的蓬勃发展,以用户为中心的“图像智能创作”产品层出不穷。用户只需通过手上的移动设备,就能完成诸如图像风格迁移,人脸特征编辑,图像超分辨率,基于手绘图的图像生成等交互式创作。在本文中,我们将聚焦于自然语言处理和图像生成和编辑的交叉领域,即文本生成图像和文本编辑图像属性任务,对其进行系统性的研究。具体来说,文本生成图像任务旨在以文本描述为条件生成具有逼真细节的高分辨率图像;文本编辑图像属性任务则是通过给定文本对源图像进行属性层面的编辑,包括颜色、纹理和微小的形状变化等。这两个任务无论从研究进展还是算法实现的角度来看,都具有较强的相关性。在调研了国内外近年来的相关课题后,本文聚焦于小规模生成模型的应用,提出和总结了部分问题。在图像生成方面,现有方法大多采用阶段性的生成网络结构,即若干分离的生成器,以及不同尺寸特征图采用不同编码注入方式,会导致网络难以训练和收敛;在图像编辑方面,现有方法采用全局搜索的策略对图像中的实例进行定位和编辑,不仅带来了巨大的模型开销,同时也更容易出现对文本相关属性和文本无关内容的错误编辑。针对上述问题,本文将从文本语义表征和注入,模型结构和辅助监督信息的利用等方面对两个子任务提出各自的改进方案。本文的创新点可以归纳为以下三个方面:1)针对文本生成图像任务,本文提出了一种基于发掘和利用策略的细粒度层次化网络算法EE-GAN。该算法通过多维度文本特征提取器充分地“发掘”文本语义特征,然后通过堆叠层次化网络模块,即空间仿射生成模块和累加结合模块,实现更好地“利用”主干网络的性能。从可视化效果可以观察到,EE-GAN生成图像看起来较为自然,并且拥有着清晰整齐的背景和逼真的细节。2)针对文本编辑图像属性任务,本文提出了一种基于结构化图像策略的算法SIMGAN。该算法实现了“由外而内”的外部结构化,以及“由泛化到细节”的内部结构化,前者主要用于识别和分离需要修改的目标实例,后者主要负责定位和编辑目标实例中文本相关的属性。SIMGAN在保证图像质量的前提下,实现了对文本相关属性的编辑和文本无关内容的保留,同时有效减少了模型的时空开销。3)本文通过系统化的量化指标和可视化实验,从生成图像多样性和质量,图文匹配度,以及模型效率等方面验证了所提出的算法的有效性。最重要的是,本文算法在基准数据集上的结果明显优于以往工作。
关键词：生成对抗网络;图像智能创作;文本生成图像;文本编辑图像属性;结构化图像策略;发掘和利用策略
学科专业：工程硕士（专业学位）
摘要
abstract
第一章 绪论
1.1 研究工作的背景与意义
1.2 研究工作的国内外研究历史与现状
1.2.1 生成对抗网络的训练稳定性
1.2.2 文本信息的有效引导
1.2.3 文本生成图像任务的进展
1.2.4 文本编辑图像任务的进展
1.3 本文的主要贡献与创新
1.4 本文的结构安排
第二章 文本生成和编辑图像基础
2.1 生成对抗网络
2.2 跨模态注意力机制
2.3 条件批正则化
2.4 基准数据集
2.5 基准评价指标
2.6 本章小结
第三章 基于结构化图像的文本编辑图像属性算法
3.1 算法总述
3.2 外部结构化
3.3 内部结构化
3.3.1 泛化修饰
3.3.2 细节修饰
3.4 训练方式和损失函数
3.5 实验结果及问题分析
3.5.1 实验设定
3.5.2 量化指标实验结果和分析
3.5.3 可视化实验结果和分析
3.5.4 消融实验结果和分析
3.5.5 模型训练过程分析
3.5.6 基于图像编码引导的图像编辑
3.5.7 算法改进分析
3.6 本章小结
第四章 基于发掘和利用策略的细粒度层次化网络的文本生成图像算法
4.1 算法总述
4.2 多维度特征文本特征提取器
4.3 层次化结构生成器
4.3.1 空间仿射生成模块
4.3.2 累加结合模块
4.4 判别器和损失函数
4.5 实验结果及问题分析
4.5.1 实验设定
4.5.2 量化指标实验结果和分析
4.5.3 可视化实验结果和分析
4.5.4 消融实验结果和分析
4.5.5 算法改进分析
4.6 本章小结
第五章 全文总结与展望
5.1 全文总结
5.2 对相关工作的展望
致谢
参考文献