论文题目：强化学习在单音轨音乐生成的应用
摘要：音乐是一种与人类社会密切相关的听觉艺术,在社会生活中扮演了重要的角色。但音乐创作存在着很高的门槛,需要创作者具备良好的音乐知识和天赋支撑。随着短视频、自媒体的蓬勃发展,音乐创作的需求越来越大,探索应用机器学习方法自动生成音乐的需求应运而生,因此如何采用人工智能算法自动生成音乐成为了当前的研究热点。当前的音乐生成技术主要分为三类,分别是基于语言模型的音乐生成算法、基于对抗生成网络（Generative Adversarial Networks,GAN）的音乐生成算法、基于强化学习（Reinforce Learning,RL）的音乐生成方法。但上述方法处于初生阶段,仍存在许多不足之处。例如,采用基于语言模型的序列生成的方法采用将音符类比于字符生成,但音乐和语言不同,音乐往往是长时间序列且稀疏,这为语言模型的设计提出了很大的挑战;而基于GAN的方法往往以卷积神经网络作为鉴别器和生成器,只能捕捉到短时间范围的音乐特征,生成的音乐往往在片段之间割裂比较明显,并且对抗生成网络也存在难以训练的情况,这使得GAN方法在音乐生成中存在着一定的局限性。而强化学习理论上只要设计出合理的智能体和奖励函数,就可以实现自动学习,自动创作,生成符合乐理规则和悦耳好听的音乐。然而强化学习中的奖励函数很难覆盖全部音乐类型,因此,探讨相似音乐风格的强化学习框架是音乐生成道路上可实现的有益尝试。鉴于此,本研究针对音乐生成任务提出了针对具有相似风格的单音轨音乐生成任务适用的,可学习具有一定主题性音乐风格的强化学习框架,为以后推广到多风格学习的基于强化学习的音乐生成方法提供方法基础。因此,本文围绕基于强化学习的相似风格音乐生成方法进行了探索,主要完成以下工作:1.提出了一种新型的奖励函数设计方法。针对如何将音乐创作的结构信息融合至奖励函数,本文提出了一种基于乐理结构的多尺度主题模型提取构建奖励函数的方法。该方法通过设计在不同音乐粒度上的特征提取器,实现对音乐的结构特征提取。通过设计多尺度音乐粒度上特征表达函数,将音乐本身蕴含的乐理结构融入至奖励函数之中。实验的主客观评价指标结果表明,采用该方法能够实现比基于手工规则和基于前后关系的奖励函数方法更好的音乐生成效果,解决了缺乏乐理知识难以提出规则的问题,同时也弥补了前后关系的网络模型对音乐创作的结构信息使用不足的问题。2.提出了一种新型的、针对音乐生成任务的音乐智能体的结构设计。当前音乐智能体主要以长短时神经网络为主,由于其建模能力的限制,在生成的结果中往往存在生成结果高度相似的情况。因此,本研究在具体分析了其产生的原因基础之上,提出了一种通过在智能体内部增设三个可学习参数并且添加余弦距离来限制模型收敛方向的智能体设计方法。实验结果表明,本研究提出的在长短时神经网络（Long short-termmemory,LSTM）内部增设可学习参数,并同时在训练中添加对相邻两个状态的限制,在生成音乐的分布上和可听性上效果超越了当前LSTM和基于注意力机制的模型。3.提出了一种针对相似音乐风格的单轨音乐生成任务的通用强化学习框架。将优化后的智能体与奖励函数学习方法融合,实现组件间的系统整合,构建出基于相似音乐风格的单轨音乐生成任务的通用强化学习框架。实验结果证明,通过该框架可以让智能体学到音乐结构信息,让模型生成的结果更接近音乐数据集。本研究所提出的框架是对强化学习框架在音乐生成领域的一次有益的尝试,可实现基于大规模音乐数据集为支撑学习音乐作曲的范式,提高模型的泛化能力,进而提高自动作曲音乐的可听性,对降低音乐创作门槛,降低音乐作曲成本,具有良好的经济效益和社会效益。
关键词：音乐生成;强化学习;LDA主题模型;LSTM优化
学科专业：计算机技术（专业学位）
摘要
abstract
符号列表
第1章 引言
1.1 研究背景
1.2 国内外研究现状
1.2.1 语言模型类音乐生成方法
1.2.2 对抗生成网络和变分自编码器类音乐生成方法
1.2.3 强化学习音乐生成方法
1.3 研究内容
1.4 各章节内容概述
第2章 相关工作概述
2.1 相关乐理知识
2.1.1 音高
2.1.2 音程
2.2 音乐数据选择
2.2.1 音乐数据格式
2.2.2 音乐数据集选择
2.3 深度学习概述
2.3.1 循环神经网络
2.3.2 长短时记忆网络
2.4 强化学习概述
2.5 音乐生成任务
第3章 强化学习奖励函数优化
3.1 引言
3.2 面临的问题
3.3 RLTUNER基线模型
3.3.1 NoteRNN
3.3.2 深度Q网络
3.3.3 手工规则奖励函数
3.3.4 回放池
3.3.5 模型设计
3.4 RE-RLTUNER模型
3.4.1 音乐特征提取方法
3.4.2 音乐奖励函数设计
3.4.3 强化学习模型实现
3.4.4 音乐生成方式
3.5 实验结果及分析
3.5.1 实验数据集
3.5.2 实验设置
3.5.3 实验结果
3.6 本章小结
第4章 强化学习智能体优化
4.1 引言
4.2 面临的问题
4.3 组件设计
4.3.1 nonlocal模块
4.3.2 EMU设计
4.3.3 损失函数
4.4 实验结果与分析
4.4.1 实验设置及环境
4.4.2 余弦损失函数效果
4.4.3 实验结果
4.4.4 客观评价
4.4.5 主观评价
4.4.6 讨论
4.5 本章小结
第5章 基于强化学习的单轨音乐生成框架
5.1 引言
5.2 研究动机
5.3 整体框架融合
5.4 实验设置
5.5 结果分析
5.5.1 客观评价
5.5.2 主观评价
5.6 讨论
5.7 本章小结
第6章 总结与展望
6.1 本文总结
6.2 研究展望
参考文献
致谢