毛桃等果实的准确检测是实现机械化、智能化农艺管理的必要前提.然而,由于光照不均和严重遮挡,在果园中实现毛桃,尤其是套袋毛桃的检测一直面临着挑战.本研究基于改进YOLOv5s和多模态视觉数据提出了面向机械化采摘的毛桃多分类准确检测.具体地,构建了一个多类标签的裸桃和套袋毛桃的RGB-D数据集,包括4127组由消费级RGB-D相机获取的像素对齐的彩色、深度和红外图像.随后,通过引入方向感知和位置敏感的注意力机制,提出了改进的轻量级YOLOv5s(小深度)模型,该模型可以沿一个空间方向捕捉长距离依赖,并沿另一个空间方向保留准确的位置信息,提高毛桃检测精度.同时,通过将卷积操作分解为深度方向的卷积与宽度、高度方向的卷积,使用深度可分离卷积在保持模型检测准确性的同时减少模型的计算量、训练和推理时间.实验结果表明,使用多模态视觉数据的改进YOLOv5s模型在复杂光照和严重遮挡环境下,对裸桃和套袋毛桃的平均精度(Mean Average Precision,mAP)分别为98.6％和88.9％,比仅使用RGB图像提高了5.3％和16.5％,比YOLOv5s提高了2.8％和6.2％.在套袋毛桃检测方面,改进YOLOv5s的mAP比YOLOX-Nano、PP-YOLO-Tiny和EfficientDet-D0分别提升了16.3％、8.1％和4.5％.此外,多模态图像、改进YOLOv5s对提升自然果园中的裸桃和套袋毛桃的准确检测均有贡献,所提出的改进YOLOv5s模型在检测公开数据集中的富士苹果和猕猴桃时,也获得了优于传统方法的结果,验证了所提出的模型具有良好的泛化能力.最后,在主流移动式硬件平台上,改进后的YOLOv5s模型使用五通道多模态图像时检测速度可达每秒19幅,能够实现毛桃的实时检测.上述结果证明了改进的YOLOv5s网络和含多类标签的多模态视觉数据在实现果实自动采摘系统视觉智能方面的应用潜力.

多类检测;YOLOv5s;多模态视觉数据;机械化采摘;深度学习

罗庆;饶元;金秀;江朝晖;王坦;王丰仪;张武

安徽农业大学信息与计算机学院,安徽合肥 230036;农业农村部农业传感器重点实验室,安徽合肥230036;智慧农业技术与装备安徽省重点实验室,安徽合肥 230036

智慧农业（中英文）

[1]罗庆;饶元;金秀;江朝晖;王坦;王丰仪;张武-.基于改进YOLOv5s和多模态图像的树上毛桃检测)[J].智慧农业（中英文）,2022(04):84-104

多模态视觉数据,像素对齐,多类检测

YOLOv5s,多模态图像,树上,毛桃,农艺,光照不均,遮挡,果园,园中,套袋,机械化采摘,多分类,一个多,RGB,红外图像,方向感,位置敏感,注意力机制,轻量级,空间方向,长距离依赖,位置信息,检测精度,卷积操作,使用深度,深度可分离卷积,模型检测,检测准确性,计算量,推理时间,复杂光照,挡环,Mean,Average,Precision,mAP,YOLOX,Nano,PP,Tiny,EfficientDet,D0,公开数据集,富士苹果,猕猴桃,泛化能力,移动式,硬件平台,模型使用,五通,检测速度,每秒,实时检测,自动采摘

0.343296