论文题目：基于深度学习的双孢菇采摘机器人视觉系统研究
摘要：双孢菇是最常见的食用菌品种之一,其种植方式逐渐从传统的小规模个体栽培向规模化生产的智能工厂转变。在双孢菇智能工厂中,大多数生产工序已实现机械化和自动化,但采收成熟的双孢菇以及品质分级仍然主要依靠人工手动完成。人工采摘与品质分级劳动强度大、成本高并且十分枯燥。双孢菇自动采摘与品质分级成为该产业中的迫切需求。视觉系统是采摘机器人中的一项重要组成部分,开展双孢菇采摘机器人视觉系统研究对实现双孢菇自动化采摘及品质分级具有重要作用。本文围绕双孢菇自动采摘与自动品质分级的产业需求,重点研究了视觉系统中的多模态目标检测和轻量级品质分级核心算法,并搭建了双孢菇采摘机器人视觉系统,为实现双孢菇自动化采摘及品质分级提供了有力技术支撑。概括而言,本文的主要研究成果包括:（1）构建了双孢菇图像数据集合。为了提高双孢菇目标检测算法性能,构建了具有2300幅图像的双孢菇多模态目标检测数据集合,为了自动识别双孢菇品质等级,构建了具有1200幅图像的双孢菇品质分级数据集合,为开展相关研究提供了数据基础。（2）提出了一种多模态注意力融合网络进行双孢菇检测。该网络通过融合双孢菇可见光和深度图像特征来提取更全面的信息,采用多尺度架构增加感受野。使用注意力机制自适应地对特征通道进行标定,使网络关注于更重要的信息。当某个模态信息发生较大变化或者缺失时,通过模态间信息互补的方式,提升了检测器在光线较强和阴影条件下的准确性与健壮性。（3）提出了一种轻量级神经网络算法解决双孢菇品质分级问题。为了提高双孢菇品质分级效率,提出了一种压缩模块,该模块的主要设计思路是将串行的下采样操作和卷积运算转换成并行结构,基于该压缩模块,构建了一种轻量级神经网络‘Light Net’来解决双孢菇品质分级问题。所提出的网络具有更少的参数量和计算量,并且分级精度达到了97.50%。该网络通过提取双孢菇图像特征,自动将双孢菇分成优质和劣质两个级别,劣质中包括畸形和锈斑等情况。同时,为了测试该算法的泛化能力,在茭白品质分级图像数据集合上开展实验,分级精度达到95.62%,实验结果证明该网络可以拓展应用于其他有关农产品品质分级的任务中。（4）搭建了用于双孢菇采摘的机器视觉系统。设计并实现了双孢菇三维空间定位方法与双孢菇采摘路径规划方法,研发了双孢菇采摘机器人视觉系统,并将该视觉系统与双孢菇采摘机器人硬件装置进行集成,执行20组实验对视觉系统进行测试,实验结果证明了该视觉系统可以精确地检测与定位双孢菇。通过上述工作,本文对双孢菇自动采摘与品质分级问题进行了深入研究,研究结果表明:提出的多模态注意力融合网络提升了双孢菇检测性能。提出的轻量级神经网络具有更低的时间复杂度和空间复杂度,并且保持了相当的双孢菇品质分级精度。并将研发的视觉系统与双孢菇采摘机器人硬件装置进行了集成,实验结果证明了该视觉系统的准确性与有效性,为双孢菇自动采摘与品质分级提供了有力技术支撑。
关键词：双孢菇;多模态目标检测;轻量级神经网络;品质分级;采摘机器人视觉系统
学科专业：信息技术与数字农业
摘要
abstract
第一章 绪论
1.1 研究背景
1.2 国内外研究现状
1.2.1 目标识别与目标检测技术研究现状
1.2.2 目标定位技术研究现状
1.2.3 农业机器人视觉系统研究现状
1.3 研究目的与意义
1.4 研究思路与内容
1.4.1 主要研究思路
1.4.2 主要研究内容
1.5 研究的创新点
1.6 论文组织结构
第二章 相关理论基础及开发工具
2.1 机器学习理论
2.1.1 机器学习方法
2.1.2 过拟合与欠拟合
2.1.3 超参数与验证集
2.1.4 优化算法
2.1.5 学习方式
2.2 卷积神经网络
2.3 反向传播
2.4 深度学习框架
第三章 数据集合构建
3.1 双孢菇目标检测图像数据集合构建
3.1.1 光学系统
3.1.2 数据采集与整理
3.1.3 数据标注
3.1.4 数据增广
3.2 双孢菇品质分级图像数据集合构建
3.3 品质分级算法泛化能力验证数据集合构建
3.3.1 光学系统
3.3.2 数据采集
3.3.3 数据预处理
第四章 基于深度卷积神经网络的双孢菇目标检测
4.1 单模态双孢菇目标检测
4.1.1 基于CenterNet检测器的双孢菇检测
4.1.2 基于注意力融合检测器的双孢菇检测
4.2 多模态双孢菇目标检测
4.2.1 多模态注意力融合网络架构
4.2.2 网络训练
4.3 实验结果对比分析
第五章 基于轻量级神经网络的双孢菇品质分级
5.1 卷积运算计算量与参数量
5.2 压缩模块
5.3 轻量级神经网络LightNet
5.4 网络训练
5.5 实验结果对比分析
5.6 泛化能力测试
第六章 双孢菇采摘机器人视觉系统原型
6.1 系统总体设计
6.2 系统模块设计
6.3 目标三维空间定位设计与实现
6.4 采摘路径规划方法设计与实现
6.4.1 多区域采摘路径规划方法
6.4.2 行顺序采摘路径规划方法
6.5 系统集成与测试
6.5.1 边缘计算平台对比分析
6.5.2 系统环境配置
6.5.3 系统集成
6.5.4 系统测试
第七章 总结与展望
7.1 总结
7.2 展望
参考文献
致谢
作者简历