论文题目：基于深度强化学习的股票交易研究
摘要：股票交易过程中,投资者根据以往的经验判断股市做出交易决策,但在做出交易决策的过程中容易受到自身情绪的影响,面对大量的交易数据,投资者难以进行分析并发现潜在有利的交易模式。并且股市受到包括相关新闻信息等多种因素的影响,股价会产生相应的波动。基于机器学习方法进行股票交易可以避免交易过程中投资者情绪的影响,学习到能够获得更多投资收益的交易策略。当通过深度神经网络模型分析股市时,如何减轻股票数据中噪声的影响,分析金融数据间的时序性关系,从不同的数据源中获取有效信息仍有待解决。本文主要研究了基于深度强化学习分析多源数据进行股票交易,本文的主要工作如下:（1）首先介绍了深度学习、强化学习和深度强化学习,为后续基于深度强化学习进行股票交易,学习动态的交易策略奠定基础。（2）现有的基于深度强化学习的股票交易研究分析的数据源相对单一,并且缺乏对股票数据时序性关系的分析。本文通过分析股票历史交易数据、技术指标和K线图判断股市状态,提出了基于深度强化学习的多源数据融合框架进行股票交易。在该框架中,考虑到数据源的不同,采用了不同的深度神经网络获取其时序性特征,并通过相加的方式融合不同数据源的时序性特征,融合后的特征更有助于智能体学习更优的交易策略。强化学习部分,为了避免出现Q值过估计的问题,我们结合了Double DQN算法和Dueling DQN算法。通过在不同股市不同趋势变化股票的对比实验,结果表明,在我们提出的框架下学习到的交易策略可以获得较好的收益,有着更好的表现。（3）考虑到相关新闻对股市价格的影响,金融新闻和股票历史交易数据从不同的方面反映股市的信息,基于深度强化学习进行股票交易时,能否从多种数据源中获取到股市丰富的特征表示影响到最终交易策略的学习。本文对股市的相关新闻标题、股票历史交易数据和相关技术指标进行了分析,提出了一个基于深度强化学习分析文本数据和数值数据的股票交易框架。由于新闻中标题是对整篇报导的概括,本文中只考虑了新闻标题,对于股票数据和技术指标通过长短期记忆神经网络获取其时序性特征,并通过注意力机制获取更有用的信息,采用加权特征相加的融合方法融合特征,在奖赏函数的设置上,加入了夏普比率,考虑收益的同时也将投资风险考虑在内。实验结果表明,我们所提出框架学习到的交易策略在不同领域的股票上有着较好的表现。
关键词：深度学习;强化学习;深度强化学习;多源数据融合;股票交易
学科专业：计算机应用技术
摘要
abstract
第1章 绪论
1.1 研究背景
1.2 国内外研究现状
1.3 论文的主要研究内容
1.4 论文的组织结构
第2章 基础知识
2.1 深度学习
2.2 强化学习
2.3 深度强化学习
2.4 本章小结
第3章 基于深度强化学习的多源数据融合框架
3.1 问题的提出
3.2 方法描述
3.2.1 历史交易数据和技术指标特征提取
3.2.2 K线图特征提取
3.2.3 强化学习模块
3.3 实验结果及分析
3.3.1 数据集
3.3.2 评估指标
3.3.3 实现细节
3.3.4 MSF-DRL框架在三只不同趋势股票上的比较
3.3.5 MSF-DRL框架在较大数据集上的比较
3.3.6 多源据融合策略的比较
3.3.7 消融实验
3.4 本章小结
第4章 基于深度强化学习融合新闻主题的股票交易框架
4.1 问题的提出
4.2 方法描述
4.2.1 新闻文本数据特征提取
4.2.2 数值数据处理
4.2.3 深度强化学习模块
4.3 实验结果及分析
4.3.1 数据集
4.3.2 实验分析
4.3.3 消融实验
4.4 本章小结
第5章 总结与展望
5.1 工作总结
5.2 未来工作展望
参考文献
致谢