论文题目：基于深度强化学习的智能农业车辆行为决策算法研究
摘要：智能农业车辆作为精准农业的重要载体,在现代农业生产的各种场合已经得到广泛应用。行为决策是智能农业车辆研究中的重点内容,传统的基于规则的行为决策算法在面对复杂多变的农业生产环境适应性较差,计算机科学和人工智能技术的发展为这一问题的解决带来了曙光。本文根据智能农业车辆的行为决策机制,提出了一种基于深度强化学习的行为决策算法,经过训练的算法能够依靠较少的传感器在不同的场景下实现智能农业车辆的“端到端”行为决策,通过控制小车的行驶方向和速度实现路径规划和动态避障,并表现出良好的环境适应性。本文主要研究内容如下:（1）分析了当前农业车辆行为决策流程和人工智能研究的特点,设计了智能农业车辆从环境感知到行为决策的算法框架和基于ROS系统的智能农业小车。为了提高深度强化学习算法的收敛速度,本文根据示教学习思想,提出了结合示教经验的深度强学习算法DDPGwTE,并对经验回放机制进行了高TD误差经验优先回放处理的改进。（2）对算法各个部分进行设计并做出改进。①结合ROS系统的通信机制和Odom里程计系统对算法的环境状态输入和行为输出进行建模;②对四轮差速小车进行运动分析,将小车运动解算为线速度和角速度适应ROS系统控制;③根据状态更新特点设计了相应的奖励函数;④对算法模型中的深度神经网络进行构建,并根据优先经验回放权重设计了相应的损失函数;⑤设计了人工示教经验池和探索经验池的采样比例机制。（3）在Gazebo中设计、建立仿真场景,获取示教经验并对经典DDPG算法和本文提出的DDPGwTE算法进行仿真。使用罗技游戏手柄以人工操作仿真环境中的小车获取示教经验,最后在三种场景下对经典DDPG算法和本文提出的DDPGwTE算法进行了仿真。仿真结果表明,结合了人工示教经验DDPGwTE算法均能在1000个训练回合达到收敛,5000个回合总步数相比经典DDPG算法分别降低7.17%、12.86%、12.77%。（4）设计制作了 ROS智能小车并对仿真环境下训练收敛的算法进行迁移实验。对照仿真场景设计了无障碍、固定障碍、移动障碍三种情景下的实验,并将动态窗口法（DWA）作为实验对照组。首先对实验环境进行激光SLAM建图,以SSH远程登录小车的方式读取DDPGwTE算法控制的小车实验过程中的速度、瞬时奖励变化、并记录了两种算法在导航、避障过程中的轨迹,通过小车轨迹对应的速度和瞬时奖励变化分析了深度强化学习算法行为决策的有效性。本文结合智能农业车辆控制和农业生产环境特点,设计了基于一种基于深度强化学习的“端到端”行为决策算法,并在基于ROS平台设计的仿真环境和实验小车上对算法进行了仿真训练和实验,实验结果验证了算法在复杂环境下行为决策的有效性,对提高农业智能化水平有重要意义。
关键词：行为决策;深度强化学习;示教经验;ROS系统
学科专业：车辆工程
摘要
ABSTRACT
第一章 绪论
1.1 课题研究背景与意义
1.2 国内外研究现状
1.2.1 智能农业车辆发展现状
1.2.2 路径规划
1.2.3 “端到端”行为决策
1.3 研究目标及内容
1.3.1 论文目标和研究内容
1.3.2 章节安排
第二章 结合示教经验的深度强化学习行为决策算法
2.1 马尔科夫决策理论
2.2 基本强化学习算法
2.2.1 基于值函数的强化学习算法
2.2.2 基于Policy-Gradient的强化学习算法
2.2.3 深度强化学习算法
2.3 结合示教经验的DDPGwTE算法
2.3.1 示教学习
2.3.2 示教经验获取和经验化处理
2.4 本章小结
第三章 智能小车平台设计与算法建模
3.1 基于ROS系统的智能农业小车
3.1.1 ROS操作系统简介
3.1.2 ROS四轮小车的创建
3.2 结合示教经验的DDPG算法建模
3.2.1 环境状态、动作建模
3.2.2 奖励函数设计
3.2.3 Actor-critic网络设计
3.2.4 目标网络参数更新策略和动作噪声
3.3 算法改进
3.4 本章小结
第四章 基于Gazebo的仿真实验
4.1 强化学习训练环境创建
4.1.1 仿真环境场景
4.1.2 仿真设置
4.2 示教经验获取
4.2.1 游戏手柄摇杆控制
4.2.2 示教经验获取
4.3 仿真实验结果分析
4.3.1 超参数设置
4.3.2 实验结果分析
4.4 本章小结
第五章 实验与分析
5.1 实验方案
5.1.1 实验平台介绍
5.1.2 通信方案
5.2 三种场景实验
5.2.1 无障碍环境
5.2.2 静止障碍环境
5.2.3 移动障碍环境
5.2.4 结果分析
5.3 本章小结
第六章 总结与展望
6.1 研究总结
6.2 不足之处及展望
参考文献
致谢