【人工智能】深度学习在植物病虫害检测应用中的进展: 综述

论文源地址：https://www.mdpi.com/2072-4292/17/4/698

Abstract

传统的植物病虫害检测方法耗时费力，且需要专业技能和资源，难以满足现代农业发展的需求。为应对这些挑战，深度学习技术成为准确、及时识别植物病虫害的有前景的解决方案，从而减少作物损失并优化农业资源配置。借助其在图像处理方面的优势，深度学习技术显著提高了植物病虫害检测与识别的准确性。本综述全面概述了深度学习算法在植物病虫害检测应用中的最新进展。首先概述了该领域传统方法的局限性，随后系统讨论了包括图像分类、目标检测、语义分割和变化检测等各种深度学习技术在植物病虫害识别应用中的最新发展。此外，本研究强调了大规模预训练模型和迁移学习在提高不同作物类型和环境条件下的检测准确性和可扩展性方面的作用。同时，对诸如增强模型泛化能力、解决小病灶检测以及确保高质量、多样化训练数据集的可用性等关键挑战进行了批判性审视。还强调了通过先进算法优化病虫害监测的新兴机遇。深度学习技术凭借其强大的数据处理和模式识别能力，已成为推动可持续农业实践、提高生产力和推进精准农业的关键工具。

Introduction

植物病虫害是农业生产中长期存在的挑战，对作物产量、产品质量和生态环境造成重大影响。全球气候变化和全球化改变了植物病虫害的发生模式，加剧了其危害影响，凸显了有效管理策略日益增长的重要性。传统上，人们主要依靠人工检查和经验判断来监测和控制植物病虫害。尽管人工虫害巡查因其可及性仍被广泛使用，但它常常受到主观性、准确性的可变性以及效率低下的阻碍，尤其是在大规模农业场景中。相比之下，深度学习模型展现出卓越的性能，在病虫害检测方面提供更高的准确性、一致性和可扩展性。这些优势凸显了探索和综合该领域深度学习应用研究的必要性，弥补传统方法的关键不足，并为未来的进展奠定基础。

近年来，人工智能技术发展迅速，在自然语言处理（NLP）、图像处理和决策分析等领域取得了重大进展。某些深度学习模型在语义分割和目标检测任务中展现出与人类水平相当的准确性。其中一些模型已成功应用于植物病虫害识别。卷积神经网络（CNN）利用层次特征学习、局部感知和权重共享等机制，有效地从原始图像中提取复杂且具有判别性的特征，实现植物病虫害的识别与分割。在CNN的基础上，通过增加网络深度和卷积核大小开发出了如VGGNet和InceptionNet等模型。VGGNet凭借其深度网络结构，在病虫害图像分类中达到较高的准确率，而InceptionNet引入不同大小的卷积核，以在同一层级同时捕捉局部细节和全局特征，使其在处理多尺度病虫害形态（如叶斑和病斑边界）方面特别有效。深度信念网络（DBNs）和多层感知器（MLP）通过高效的特征学习和分类进一步提高检测准确率。DBNs逐层训练，学习输入数据的潜在结构特征，在处理高维遥感图像时，通过降维和提取最具特色的特征尤为有效。MLP对这些高级特征进行分类，以实现对不同类型植物病虫害的准确识别。除了CNN、VGGNet、InceptionNet和DBNs等传统模型外，各种改进模型在植物病虫害检测中也表现出强大的性能。卷积相关神经网络（CCNNs）将卷积操作与相关学习机制相结合，能够在更复杂的环境中提取与病虫害相关的动态特征。自适应深度信念网络（ADDBNs）动态调整网络结构，使其能够灵活适应不同的数据集和任务要求，从而提高检测准确率和鲁棒性。深度学习模型的集成与创新显著推动了植物病虫害检测的自动化和智能化。然而，深度学习技术在该领域的整合仍面临挑战。训练深度学习模型需要大规模的标注数据集和计算资源。此外，这些模型的可解释性和泛化能力需要进一步研究和改进，以增强其在复杂自然环境中的适应性和可靠性。因此，基于深度学习的植物病虫害检测方法具有重要的学术研究价值。

鉴于目前缺乏对基于深度学习的植物病虫害检测方法全面且详细的讨论，本研究回顾并综合了相关文献，特别关注近年来的研究进展。主要目的是全面概述深度学习技术在植物病虫害检测领域的应用。

本研究的主要内容如下：首先，介绍该领域使用的数据集，以及植物病虫害检测的传统方法及其局限性。随后，研究深入探讨遥感数据在植物病虫害研究中的应用、深度学习在图像识别和分类中的优势，以及这两种方法整合所产生的协同效应。最后，研究讨论深度学习在植物病虫害检测领域的潜在应用和挑战，为推动植物病虫害监测与控制技术的创新提供见解和指导。通过整合遥感技术和深度学习方法，我们旨在在植物病虫害管理领域实现更准确、高效的成果，进一步促进可持续农业发展和环境保护。

Method

为确保本综述的系统性与透明性，遵循了严格的文献筛选与数据提取流程。制定了明确的纳入与排除标准。本综述聚焦于运用深度学习技术进行植物病虫害识别、分类、检测或监测相关的研究。符合条件的研究包括实验性研究、案例分析和综述文章。若文章与植物病虫害管理无关、未采用深度学习方法，或是无实证数据的观点性文章或无依据的综述，则予以排除。

文献检索采用了系统且可重复的策略。我们在中国知网（CNKI）和谷歌学术数据库中进行检索，使用了以下关键词：“植物病虫害识别”“植物病虫害分类”“植物病虫害目标检测”“遥感大模型”以及“迁移学习”。检索涵盖所有相关文章，无时间限制。首先根据标题、关键词、摘要和方法对结果进行筛选，排除不相关文章。筛选过程结束后，共纳入182项符合条件的研究。

文献筛选和数据提取过程由四位作者独立完成。在初步筛选阶段，我们着重评估标题和摘要，以确定其是否符合纳入标准。对于相关性不明确的研究，进一步查阅全文。在数据提取阶段，作者根据预先设定的标准，从选定的研究中提取相关信息，包括研究设计、所使用的深度学习模型、数据集、实验方法、结果及应用。

本综述主要关注深度学习模型在植物病虫害识别、分类和检测方面的性能，重点考量指标如准确率、召回率、F1分数、计算效率（如训练和推理时间）以及整体模型性能（如稳健性和准确率）。

作为一篇文献综述，本研究未对单个研究进行正式的偏倚风险评估。然而，在整个文献筛选和数据提取过程中，我们遵循了严格标准，以确保纳入研究的质量和可靠性。为确保结果的准确性和科学严谨性，使用了多种性能指标进行数据合成与呈现，包括识别准确率（准确率、召回率、F1分数）、计算效率（耗时、资源使用情况）以及不同深度学习模型之间的比较。

为进一步分析研究趋势和热点，我们使用VOSviewer进行关键词可视化（图1）。VOSviewer是一款开源软件工具，能有效绘制文档之间的关系图，并有助于识别研究趋势。在本研究中，“卷积神经网络”出现了38次，链接强度为160。这些可视化分析为深度学习在植物病虫害检测领域的发展提供了见解。

尽管本综述未进行正式的元分析，但我们通过VOSviewer考察了研究之间的异质性，并进行了关键词聚类分析，以识别该领域内不同的研究方向。此外，为确保结果的稳健性，通过排除低质量研究并评估其余研究结果的一致性来进行敏感性分析。我们在撰写报告时使用了PRISMA清单（补充材料）。

植物病虫害数据集与传统检测方法

为给研究奠定基础，本文首先探究传统的植物病虫害检测方法以及常用数据集。通过总结传统方法在植物病虫害检测领域的应用及局限性，该综述有效地突出了深度学习技术在植物病虫害检测领域的优势。数据集是深度学习模型训练的根本基础，对于深度学习技术在植物病虫害领域的应用至关重要。通过这两部分内容，我们旨在为该综述构建更清晰的逻辑框架与基础。图2展示了常见植物病虫害场景的示例。

数据集介绍

利用深度学习技术进行植物病虫害检测主要通过大量健康及受侵染的植物图像进行训练，借助图像数据完成植物病虫害的检测。因此，构建适用于植物病虫害领域的数据集至关重要。以往研究中使用的数据集可分为三类：第一类是开源数据集，这类数据集通常数据量庞大，包含大量图像类别，例如ImageNet，其收集了超过20,000种不同类别的图像。也有专注于某一特定类别的开源数据集，如WDD2017数据集，其仅包含小麦图像。第二类是自建数据集。例如，Lu等人利用在黑龙江采集的水稻病害图像进行分类。最后一类包括非开源、学术特定且对隐私敏感的数据集。此外，高光谱植物数据并未广泛用于分类目的。表1呈现了最常用数据集及其各自开发团队的相关信息。

目前，大多数用于植物病虫害研究的数据集涉及多个步骤，包括数据收集、图像处理、标注及整理。创建者通过收集不同类型植物病虫害的图像，涵盖各种植物种类、不同病虫害类型、不同生长阶段以及各种环境条件，以确保数据集的多样性。通过调整图像大小和分辨率、去除不必要的背景或干扰以及标准化图像颜色和光照条件，对每张图像进行归一化处理。为每张图像添加标注，准确指定诸如植物种类、病虫害类型以及病情严重程度等信息。最后，将图像和标注信息整合为结构化数据集，通常存储并转换为CSV、JSON等格式。随着数据集规模的增大，可能需要将其划分为训练集、验证集和测试集，用于深度学习模型的训练与评估。为数据集提供清晰全面的文档至关重要，包括数据源、收集日期、图像描述和标注指南等信息。这将有助于研究人员之间的理解、使用、共享和交流。此外，可应用数据增强技术，如旋转、平移、翻转、裁剪等，来扩充数据集并提升模型的泛化能力。

植物病虫害图像识别的传统方法

在植物病虫害图像识别的初始阶段，研究人员主要采用传统机器学习方法。识别过程通常涉及两个主要阶段：训练和测试。传统方法依赖手动提取的图像特征和经典机器学习算法，这就需要根据植物病虫害的独特特征设计成像方案。使用传统图像处理算法或手动选择的特征结合分类器进行识别。

在训练阶段，图像要经过预处理，包括降噪、图像增强等步骤。一些关注植物病虫害图像特征的研究人员首先对RGB图像进行颜色转换。然后，他们调整颜色分割阈值以舍弃部分绿色像素，减少背景干扰并增强病虫害识别能力。通过图像预处理操作，可有效提高植物病虫害识别与分类的有效性和准确性。预处理完成后，应用分割操作来分离图像中包含病虫害的部分。这些操作可使用阈值分割或聚类分割来完成。分割操作也有助于提取后续分类器所需的特征。植物病虫害领域常用的特征包括形状、颜色和纹理等。这些特征可使用各种图像处理算法和统计方法进行计算和提取。例如，Padol和Yadav最初使用K均值聚类分割来获取病害区域，并提取病斑的颜色和纹理特征。然后，他们使用支持向量机分类器来检测叶片病害类型，在137张图像中达到了88.89%的准确率。一些研究人员还基于HIS（色调、强度和饱和度）颜色模型结合颜色共生矩阵（CCM）方法和统计分类算法对受感染和健康的柑橘叶片进行分类。

在训练步骤中，研究人员还需要基于提取的特征向量构建分类器。常见的分类器包括支持向量机（SVM）和人工神经网络等。这些分类器通过学习训练数据集中的特征模式和类别标签进行训练和调整，以区分病虫害图像与正常图像。传统方法的一些研究结果表明，大津阈值算法具有出色的分割性能、便捷的计算过程和广泛的适用性，因此在图像处理中得到广泛应用。例如，Chakraborty等人使用大津阈值分割算法和直方图均衡化技术对图像进行分割，并结合支持向量机进行分类，在500张图像中识别苹果叶片病害的准确率达到96%。同样，Shen等人采用大津方法进行叶片分割，利用HIS中的H分量分割病斑以减少光照变化的干扰，使用Sobel算子分割病斑区域，最后计算病斑面积与叶片面积的比值以进行病虫害分级。该方法能够准确识别和分级植物病虫害。

在测试阶段，广泛使用的机器学习算法包括支持向量机（SVM）、随机森林和主成分分析（PCA）等。这些算法对提取的特征向量进行分类，以实现对植物病虫害的准确识别。例如，Li等人使用主成分分析对水稻叶片的可见光和近红外光谱波段进行压缩，随后使用概率神经网络进行病虫害识别。研究表明，这两种方法的结合能够快速准确地识别水稻病虫害，准确率高达95.65%。Huang等人构建了七个植被指数，并结合K均值和Relief算法选择小麦白粉病的遥感特征。他们将支持向量机与小波特征（GaborSVM）相结合来监测小麦白粉病的发生情况。GaborSVM的总体准确率达到86.7%，超过了传统SVM方法的性能，适用于基于卫星遥感图像的大规模病害监测。此外，Lu等人阐述了地理加权回归技术。Chaudhary等人改进了随机森林分类器，该分类器由随机森林机器学习算法、属性评估器方法和实例过滤方法组成，并将其应用于多种花生病害的分类。结果显示分类准确率高达97.80%。

综上所述，植物病虫害图像识别的传统方法，包括预处理、分割和特征提取，并结合经典机器学习算法，在一定条件下已实现对病虫害图像的识别和分类，且具有良好的准确率。然而，传统方法的性能过度依赖手动特征提取、分割和算法选择。研究过程复杂、主观，在更复杂的自然环境中难以获得满意的结果。这些方法的应用因其缺乏泛化能力以及无法在更广泛的场景中应用而受到限制。相比之下，深度学习方法以其端到端的学习方式，能够自动从图像中提取特征，具有更好的泛化能力和性能表现。

图像分类与目标识别在植物病虫害防治中的应用综述

植物病虫害的图像分类与目标识别是农业生产和植物保护领域的关键应用。通过图像分类技术，农民和专家能够准确识别植物病虫害的类型，从而及时实施防治措施。而目标识别技术则可以精确确定图像中植物病虫害的位置，便于提取与植物病虫害相关的目标。这进一步提高了防治措施的精准度和有效性。在本节中，我们将深入探讨植被病虫害图像分类与目标识别的方法及应用，以及相关算法和技术的发展与应用前景。

植物病虫害图像分类

植物病虫害图像分类是指对受病虫害影响的植物图像部分进行分类，以判断植物是否受到病虫害侵袭。这一过程有助于农业专家和研究人员识别和区分不同类型的植物病虫害，进而采取适当的防治措施。植被病虫害图像分类中最关键的步骤是特征提取。通过分析植物图像的颜色、纹理和形状等特征，构建分类模型以区分不同的病虫害。近年来，深度学习技术在植被病虫害分类领域得到了广泛研究与应用。深度学习技术通过训练模型自动学习图像特征并进行分类，同时还借助高光谱技术[59]和图像处理等辅助方法，提高病害检测的灵敏度和准确性。

研究人员已将传统图像分类模型引入植物病虫害识别领域，并对这些模型进行了创新性改进。其中，基于卷积神经网络（CNNs）的方法在对不同类型的植物病虫害图像进行准确分类方面表现出色（图3）。Wang等人对VGG16神经网络进行了改进，并将其与高光谱图像处理技术相结合，用于柑橘病虫害的分类与诊断，实现了较高的准确率，为柑橘病虫害监测与防控提供了有效支持。同样，CCNN是基于VGG16的改进版本，是一种级联卷积神经网络，它利用VGG16构建感兴趣区域检测网络以检测斑点病斑，并集成区域分割网络以实现病斑区域的精确分割。此类模型设计能够在复杂环境中对植物病害叶片图像进行分割。VGG-INCEP是一种用于多尺度特征提取的神经网络结构，它在VGG16上添加了两个inception模块。这一改进解决了在同一叶片上检测不同大小病斑的问题。VGG-INCEP与Rainbow相结合，用于苹果叶片病害的实时检测。在Yadav等人的研究中，他们在VGG16网络中使用支持向量机（SVM）和SoftMax作为分类输出，对溃疡病小叶和柑橘果实病害进行分类。在这些研究中，使用了经典图像分类网络VGG16，研究人员对该卷积神经网络进行了各种改进，但均利用卷积神经网络进行特征提取，并将其与其他模块相结合以对病害区域进行分类。

同样，诸如AlexNet、GoogLeNet、LeNet和ResNlet等卷积神经网络（CNNs）也得到了改进，并应用于植物病虫害的分类。基于ResNet50卷积神经网络的PD-Net引入了注意力模块和跨层非局部模块，以提取关键特征并融合多尺度特征。在处理大规模、多类别的植物病虫害图像时，它展现出了卓越的准确率和召回率。Shrivastava等人将AlexNet网络的最后一层替换为支持向量机（SVM）用于水稻病害识别，并取得了较高的准确率。Mohanty等人针对14种作物上的26种病害识别对AlexNet和GoogLeNet网络结构进行了微调，主要用于智能手机辅助的作物病害检测。一种结构与LeNet类似的深度卷积神经网络（DCNN）利用SoftMax计算病害分类的概率。经过训练的模型能够在复杂的田间环境中直接识别和分类黄瓜病虫害。Sladojevic等人专注于从背景环境中分割植物叶片，他们设计了深度卷积神经网络CaffeNet，能够对13种不同类别的植物病虫害进行自动分类和检测。

还有一些其他研究，例如基于深度信念网络（DBNs）的自适应判别深度信念网络（ADDBNs）能够预测棉花病虫害的概率，该模型使用自适应学习率来提高训练速度。多层感知器（MLP）和偏最小二乘判别分析（PLS-DA）被用于区分导致植物病害的生物胁迫和非生物胁迫。Gabor滤波方法与从神经网络中提取的视觉特征相结合，用于玉米叶片病害诊断。将雷达数据和多光谱数据整合以对粮食作物进行分类，这种结合可见光和雷达数据的方法能够提高作物分类的准确率。在Mirwaes等人的一项研究中，高光谱图像被转换为文本集，然后使用概率主题模型自动跟踪大麦三种叶部病害的发展情况：（1）使用误差指数方法检测农业土壤的土壤环境质量；（2）使用深度学习和迁移学习检测绿豆病虫害，所提出的模型可直接部署在智能手机上进行检测；（3）基于卷积神经网络检测水稻病害和玉米病害。

深度学习技术的应用提高了植物病害检测的准确率，加速了实时和自动化进程，为农业生产的智能化和精准化提供了有效的技术支持。深度学习在实际农业应用中具有巨大潜力。从水稻和柑橘到水果和蔬菜，利用当前的深度学习模型可以有效地识别和分类不同作物上的病虫害。然而，在利用深度学习进行植物病虫害图像分类领域仍然存在挑战，如模型的泛化能力、处理速度以及对极端气候条件的适应性等，这些都需要在未来的研究中进一步探索和突破。

植物病虫害目标检测

深度学习技术的进步推动了计算机视觉领域的显著发展，目标检测已成为众多领域广泛应用的工具。在农业领域，精确检测植物病虫害对于保障作物健康、提高产量以及降低成本至关重要。基于深度学习的目标检测方法通过挖掘图像特征，能够自动识别并定位植物病虫害，从而提升检测效率与准确性。近年来，学者们运用目标检测算法在害虫检测方面取得了可观成果。最常用的害虫检测算法大致可分为两类：基于区域提议的两阶段算法和基于回归的单阶段算法。

基于区域提议的两阶段算法（图4）是目标检测领域的一项重大进展。它将目标检测过程分为两个阶段，即生成候选目标区域，以及对其进行精确定位和分类。该方法有效融合了深度学习特征提取与传统机器学习方法的优势，在目标识别的准确性和效率之间取得了平衡。例如，在水稻病害检测方面，Lu等人提出了一种基于深度卷积神经网络（CNN）技术的水稻病害检测方法。通过在水稻茎叶图像上训练深度卷积神经网络，该方法达到了95.48%的高精度，超越了传统机器学习模型[26]。同样，Liang的研究表明，基于CNN的方法在水稻稻瘟病识别方面比传统手工特征更为有效[82]。此外，对于苦瓜叶病害和作物病害检测，Li等人采用了改进的FasterR-CNN方法和深度卷积神经网络。通过对特征提取网络的选择与增强，并结合特征金字塔网络，该方法有效提高了目标检测的精度[83]。在使用无人机进行作物病害检测领域，Zhang等人采用了深度卷积神经网络结合高光谱图像。该方法利用无人机自主作业，其性能优于传统方法，总体准确率（0.85）高于随机森林分类器（0.77）[84]。在大规模松材线虫病和农业害虫检测中，Deng等人利用带有区域提议网络（RPN）和ResNet残差神经网络的FasterR-CNN深度学习框架。这种融合了无人机遥感和人工智能技术的方法，提出了一种大规模松材线虫病检测与定位方法，提高了病害检测和定位的准确性[85]。同时，一些改进的目标检测算法，如改进的特征金字塔网络（FPN）、ROIAlign算法以及注意力模块等被引入，以进一步提升小目标检测的性能[86]。Albert等人使用FasterR-CNN算法在农田害虫检测中达到了90.54%的精度，该模型使用改进的Inception网络进行测试[87]。Li等人将Transformer模型和CascadeR-CNN模型与注意力模块（Swin模型）相结合，并采用基于图像处理的数据增强技术，如Mixup和Cutmix算法。这使得他们能够在检测柑橘树黄龙病的样本之间建立线性关系，从而实现更高的准确率[88]。

基于回归的单阶段算法（图5）是目标检测领域的一种重要方法，可在单个阶段同时进行目标定位和分类。该方法通过预测边界框的坐标实现目标定位，同时进行类别预测。这种方法将目标检测任务简化为一个回归问题，如YouOnlyLookOnce（YOLO）和SingleShotMultiboxDetector（SSD）等算法。虽然这些算法检测速度更快，但在小目标或密集目标场景中，其定位精度与基于区域提议的两阶段算法相比可能略低。为提高单阶段基于回归的算法在小目标或密集目标场景中的定位精度，研究人员提出了一系列改进方法。Hong等人提出了一种通用的多模态深度学习框架MDL-RS，该框架有效地整合了来自不同来源的遥感图像，包括高光谱（HS）、激光雷达（LIDAR）、多光谱（MS）和合成孔径雷达（SAR），用于图像分类任务。该框架增强了图像中多源信息的表示，从而提升了目标检测性能[89]。Lv等人通过在YOLOv3网络中添加残差单元，并将ResNet单元纳入特征金字塔网络的一部分，增强了较低层级小目标位置的信息[90]。Tian等人采用CycleGAN进行图像数据增强，并通过整合DenseNet优化了YOLOv3模型的特征层。该方法在检测性能方面优于其他几种先进网络[91]。Li等人提出了一种基于改进卷积神经网络（CNN）的深度学习方法。通过引入新的网络结构和特征融合模块，他们实现了更准确、更快的目标检测[92]。为应对复杂背景下小目标检测的挑战，Zhang等人提出了一种基于改进基线模型（YOLCv4）的方法。他们引入了一个上下文引导模块，将有效特征与上下文信息融合，并使用多尺度混合注意力机制聚焦于有害区域，与YOLOv4模型相比，平均精度提高了7.2%[93]。Hu等人引入了一种名为YOLO-GBS的深度神经网络。通过添加检测头，纳入全局上下文注意力机制，并基于YOLOv5使用诸如EBiFPN和SwinTransformer等方法，他们实现了从数字图像中对各种水稻害虫的检测和分类[94]。一些方法还引入了空间金字塔池化模块以提高模型的检测精度。例如，Li等人使用沙漏特征提取模块、深度沙漏特征提取模块和空间金字塔池化模块有效地捕捉图像特征，在黄麻病害图像检测中展现出卓越的检测精度[95]。Tang等人结合改进的CNN和YOLOv4方法，利用挤压激励注意力机制和跨阶段多特征融合方法增强特征金字塔和路径聚合网格结构，从而提高了农业害虫检测的准确性[96]。为清晰呈现对YOLO模型所做的改进及其应用成果，这些研究已被总结并整理成表2。

此外，近年来，轻量级模型在目标检测领域取得了显著进展。多项研究提出了各种改进的轻量级模型。例如改进的轻量级模型ds-YOLOv3-tiny、SSD的增强版本、轻量级的MobileNetv2-YOLOv4、名为ASFL-YOLOX的自适应空间特征融合与轻量级检测模型，以及优化的轻量级YOLOv5模型。这些模型通过引入各种优化措施，如改变特征提取网络、采用更高效的激活函数、连接特征尺度、聚类锚点以及利用金字塔池化模块，在保持实时性能的同时，实现了特征提取和检测能力的提升。这些优化措施在林业害虫检测、无人机图像中受损树木检测、水稻作物害虫检测以及果园植物防护设备等领域，在准确性和性能方面都展现出显著提升。未来，这些参数较少的轻量级模型可部署在边缘设备上，实现对植物病虫害的实时检测。它们在复杂自然环境中的应用将为精准农业提供有力的技术支持。

综上所述，基于区域提议的两阶段算法和基于回归的单阶段算法均可广泛应用于作物病害检测的不同场景。前者采用两阶段策略，通过生成候选目标区域实现高精度目标识别。后者在单阶段运行，同时执行目标定位和分类，检测速度更快。近期研究将注意力机制和基于Transformer的模型架构引入植物病虫害检测系统，以提高检测精度，特别是对小目标和复杂场景的检测精度。这些进展显著提高了深度学习模型在实际植物病虫害检测中的实际适用性。未来的研究预计将集中在集成轻量级模型以实现植物病虫害的实时检测、将深度学习模型部署到计算和存储资源有限的边缘设备上，以及推动实际环境中的植物病虫害检测。这些努力有望为现代农业的智能化和精准化发展做出贡献。

植物病虫害语义分割与变化检测中的应用综述

植被病虫害语义分割

植物病虫害的发生给农业带来了重大挑战。传统的病虫害检测人工采样方法存在诸多局限性，包括时间成本高、效率低以及易受主观因素影响。近年来，随着无人机（UAV）、传感器和深度学习等技术的快速发展，为植被病虫害检测自动化开辟了新的研究方向。遥感技术凭借其高时空分辨率的优势，已广泛应用于植被监测。然而，卫星平台上有效载荷的图像分辨率相对较低，在某些情况下限制了其适用性。相比之下，无人机低空可见光遥感具有成本低、效率高和应用灵活等特点，在多种作物表型特征研究中取得了广泛成功。深度学习的快速发展为遥感图像处理提供了新机遇，简化了手动构建特征的过程，并不断改进学习到的特征表示。语义分割是基于学习到的特征对图像中的每个像素进行分类，从而能够准确识别图像中的植物病虫害。基于深度学习的语义分割过程主要包括三个阶段：特征提取、语义分割和分割后处理，如图6所示。

在这一领域，国内外研究都产生了大量成果。斯图尔特等人利用MaskR-CNN模型验证了语义分割在病斑识别中的有效性。通过实际案例，他们实现了病斑的自动识别，凸显了语义分割在疾病定量分析中的价值。富恩特斯等人语义分割技术在病虫害识别中的应用提供了有价值的见解和支持。他们强调，结合语义分割算法可以进一步提高病斑区域的精确定位和识别能力。莫汉蒂等人展示了深度学习在基于图像的作物病害检测中的潜在应用，激发了语义分割技术在作物病虫害监测中的应用。柯等人证明了基于深度学习的语义图像分割技术可以为复杂农业场景提供全面信息，凸显了其在农业应用中分析复杂视觉数据的潜力。艾哈迈德等人认为语义分割是植物病害识别中常用的深度学习技术，对分割病害区域和定量评估病害严重程度特别有效。刘等人进一步探索了将病虫害检测任务转化为病斑和正常区域的语义和实例级分割，提供了案例研究，说明了语义分割技术在该领域的实际应用和有效性。这些研究共同强调了语义分割在提高植物病虫害检测准确性和精度方面的作用，为未来研究提供了有价值的见解。罗等人证明将深度学习技术集成到农业领域显著提高了语义分割的准确性和鲁棒性，解决了传统方法在区分复杂背景和病虫害特征方面的局限性。塔西斯等人对咖啡叶病害进行了研究，提出了一种综合方法，利用MaskR-CNN进行实例分割，UNet和PSPNet进行语义分割，ResNet进行分类。这种集成模型有效地实现了患病咖啡叶的自动检测和分割，准确率超过90%。同样，雷兹克等人开发了一种基于物联网的植物病虫害识别系统，引入了一种结合卷积神经网络（CNNs）和全连接条件随机场（CRFs）的混合方法。该系统直接处理物联网终端摄像头拍摄的图像，实现了自动化和智能化识别。他们的集成框架提高了植物病虫害语义分割中的细节识别和边界恢复能力。季等人提出了一种基于深度学习语义分割的葡萄黑腐病严重程度监测与分析方法。朱等人引入了一种语义分割模型LD-DeepLabv3+，用于在复杂场景中分割苹果叶片和病斑，深入探索了语义分割在病虫害识别中的应用方法。这些研究共同强调了语义分割技术在病斑区域精确定位和实时监测中的关键作用。

研究人员已有效地将深度学习技术应用于应对植物病虫害检测中的关键挑战。通过利用无人机的低空可见光遥感，研究人员在病虫害检测方面取得了显著改进，包括提高空间分辨率、灵活性和成本效益。众多研究展示了语义分割技术在应对这些挑战方面的出色表现，特别是在病斑精确定位、病害严重程度定量评估和受灾区域实时监测等任务中。从复杂农业图像中的病斑识别到智能农业中病虫害识别的应用，语义分割已被证明是一个关键工具。这些进展共同为提高植物病虫害检测的准确性、精度和实时能力提供了强大的方法和技术支持，为智能和可持续农业实践的发展铺平了道路。

植物病虫害变化检测

变化检测在遥感影像中的应用已在各个领域广泛采用。深度学习强大的学习能力和无监督特性，推动了其与基于遥感影像的变化检测相结合的发展趋势。近年来，遥感和深度学习的快速发展促使这些技术与植物病虫害相关变化检测相结合，为植物病虫害变化检测提供了新视角。

龚等人将人工神经网络中的BP神经网络算法以及信息安全领域的入侵检测技术CDAN引入棉花叶片病虫害检测中。他们基于CDAN技术和BP神经网络开发了一个棉花病虫害入侵检测与预测系统，从而提高了棉花病虫害预测的效率和智能化程度。一旦检测到超出正常范围的叶片表面信息，系统就会报告害虫入侵。徐等人提出了CTCD-Net变化检测模型，该模型结合了卷积神经网络和变换器，以增强网络学习图像细节的能力。刘等人引入了具有多尺度上下文聚合的CNN-Transformer网络，有效实现了农田变化的识别。刘等人提出了一种具有多尺度上下文聚合的CNN-Transformer网络，称为MSCANet。他们的模型采用三个CNN分类器从图像中提取变化信息，增强了捕捉图像深层特征的能力。这种设计显著提高了检测精度，尤其是在边缘和形态特征方面。同样，王等人引入了一种基于深度孪生卷积网络的有监督变化检测方法。他们的模型由一个特征提取网络和一个变化决策网络组成，其中特征提取网络集成了两个异构卷积模块和两个标准卷积模块以捕捉多层次特征。与其他深度学习模型相比，这种结构设计显著提高了检测精度。在植物病虫害检测领域，达斯等人对52块稻田进行了全面研究。他们使用Sentinel-2图像和VGG16模型开发了一个用于评估田间稻瘟病病情的模型。该模型有效地评估了叶瘟的实际发生情况。

研究人员通过各种创新方法成功地将深度学习模型应用于植被病虫害的监测与评估。这些研究为实现实时、准确和高效的植物病害监测提供了有力的方法和技术支持。研究人员通过提出各种深度学习模型，如VGG16、孪生卷积网络和CTCD-Net等，解决了与不同植被病虫害相关的特定问题。这些模型通过从遥感图像中学习，有效地检测植被病虫害的变化。此外，深度学习的应用不仅限于光学图像，还涵盖了多种数据源，包括合成孔径雷达（SAR）图像。这种多源数据的整合为植物病虫害变化检测提供了更全面的信息，提高了监测的准确性和全面性。此外，研究人员关注深度学习模型设计中的细节，引入了多尺度上下文聚合和目标分析等技术。这些技术的应用增强了模型学习图像细节和上下文信息的能力，从而更准确地检测植物病虫害的变化。

这些研究共同展示了深度学习在植物病虫害变化检测中的潜力和优势。深度学习技术的应用为实现实时、准确和高效的植物病虫害监测提供了新方法和技术支持。该技术为相关领域未来的研究和实际应用提供了有价值的参考。

遥感大模型与迁移学习

植物病虫害预测

在植物病虫害预测研究的早期阶段，主要采用统计和回归方法、诸如BP、LVQ和RBF神经网络等机器学习技术，以及耦合ENFA、BIOCLIM、Maxent、GARP等各种算法的生态位模型。然而，随着深度学习技术的出现，特别是长短期记忆（LSTM）网络的广泛应用，深度学习已成为病虫害预测研究的新趋势。在该领域，Mahenge于2023年全面回顾了人工智能和深度学习技术在普通豆类作物病害检测和害虫预测方面的潜力，为后续研究人员提供了清晰的见解。

LSTM作为深度学习中广泛应用的技术之一，在植物病虫害预测中得到了大量应用（图7）。2018年，Xiao等人利用LSTM预测棉花病虫害的发生。他们将该问题形式化为时间序列预测问题，利用气象因素建立了基于LSTM的预测模型，与传统机器学习方法相比表现出优越的性能。2020年，Wahyono提出了一种改进的LSTM方法用于预测农作物害虫的发生。通过使用滑动窗口方法和参数调整，该方法的效能得到了提升。同年，Chen结合气候和大气环流探索了LSTM在棉花病虫害预测中的应用。2020年，Zhang将知识图谱融入双向LSTM，从而提高了小麦条锈病预测的准确性。2021年，Jain和Ramesh引入了基于CNN-LSTM的水稻病害预测模型，该模型结合了CNN和LSTM的优势，为病害预测提供了一种有效方法。

除了LSTM，研究人员还探索了利用深度学习技术建立植物病虫害预测系统。2013年，Patil和Mytri采用前馈多层感知器神经网络开发了一个动态预测系统，在预测棉花害虫方面优于其他系统。2021年，Saleem的团队提出了一种基于物联网（IoT）和深度学习的棉花粉虱预测系统。他们利用无线网络和云服务器进行预测，达到了82.88%的准确率。2023年，他们将这个预测系统扩展到对整个作物的害虫进行预测，总体准确率达到94%。2018年，Wang等人引入了基于自适应判别深度信念网络的棉花病虫害预测模型，与传统方法相比，预测准确率提高了19%以上。2021年，Grünig等人利用深度学习对苹果叶片图像进行分类，建立了农作物病虫害预测框架。他们成功预测了潜叶蛾的发生周期。

这些研究共同表明深度学习技术在植物病虫害预测中得到了广泛应用，为准确预测和科学防治害虫提供了有力支持。最初，植物病虫害预测研究主要利用统计和回归方法、机器学习技术以及各种生态位模型。然而，随着深度学习技术的兴起，特别是LSTM的广泛采用，病虫害预测领域出现了一种新趋势。研究人员全面回顾了人工智能和深度学习技术在作物病害检测和害虫预测方面的潜力，从而为植物病虫害研究提供了明确的方向。除了LSTM，其他深度学习技术，如CNN-LSTM和多层感知器神经网络，在植物病虫害研究中也显示出巨大潜力。物联网与深度学习在棉花粉虱预测系统中的结合，以及基于自适应判别深度信念网络的棉花病虫害预测模型，展示了深度学习在提高预测准确性方面的出色表现。这些研究不仅为农业生产提供了更准确的病虫害预测手段，还为深度学习在农业领域的未来应用提供了指导。深度学习为植物病虫害预测研究注入了新的活力，为实现精准农业和有效害虫管理提供了强大支持。

预训练大型遥感模型

人工智能（AI）技术在植被病害诊断领域正逐渐取代传统方法，以解决流程耗时、成本高、效率低和主观性等问题。深度学习作为主流的人工智能方法，显著提升了精准农业中植被病害的检测与诊断水平。然而，当前大多数植物病害诊断方法依赖预训练的深度学习模型，这些模型通常源自计算机视觉数据集，而非植物病理学领域的专业数据集。这导致缺乏领域知识，董等人通过开发一系列专门用于植物病害诊断的预训练模型解决了这一问题。通过实验分析表明，这些模型在植物病害诊断中具有更高的准确率，且训练时间更短[145]。

目前，深度学习模型仍主要基于ImageNet数据集的预训练参数进行训练。库利巴利等人引入了一种基于ImageNet的预训练特征提取方法，利用VGG16模型构建了珍珠粟霜霉病识别系统，准确率达到95.00%[146]。陈等人采用在ImageNet上预训练的VGGNet和Inception模块，提出了INC-VGGN框架，成功将水稻病害图像分类准确率提高到92.00%[147]。陈和廖通过改进ConvNeXt网络设计了ConvNeXt-ECA网络模型，使用ImageNet的预训练模型权重参数，准确率达到96.73%[148]。张等人基于自监督学习，在ImageNet数据集上对ViT模型进行预训练，并成功将其应用于茶树病害识别，显著提高了识别效率和准确率[149]。

随着大规模语言模型（如ChatGPT）的兴起，研究人员针对植被病虫害识别提出了各种框架和理论。宋等人使用卷积神经网络构建了害虫识别模型，其中Inception-v4支持向量机分类方法准确率最高，达到97.3%[150]。沙菲克等人的一项研究中，引入了EarlyFusion和LeadVotingEnsembles两种植物病虫害检测模型。这些模型整合了九个预训练的卷积神经网络，经过微调并迁移到植物病虫害检测领域。使用PlantVillage数据集对模型准确率进行验证，实现了15类病虫害的分类。这些模型优于原始卷积神经网络，准确率分别达到96.74%和97.79%。这些模型展现出稳定性和易推广性，为提高植物病害检测和分类的准确率与效率提供了切实可行的解决方案[151]。胡等人通过迁移学习和调整优化器参数成功对玉米病害进行分类，平均识别准确率达到97.6%[152]。吴等人提出了作物病害分割检测Transformer，在作物病害分级的分割准确率达到96.4%[153]。李等人利用EfficientNet-b0预训练模型构建了有效的柑橘病害分类网络应用服务器，解决了柑橘植被害虫检测与分类问题，其实验中模型平均准确率达到97.0%[154]。邢和李基于农作物病虫害图像数据集（CPD）开发了解耦注意力网络（DANet）。通过与迁移学习ImageNet预训练模型对比，结果表明两个网络性能相近，而DANet的计算成本仅为ResNet-50的四分之一[155]。拉杰斯瓦拉帕等人建立了一个针对Inception-ResNet-v2和VGG16网络的先进迁移学习框架，以检验农作物病虫害识别与分析模型的准确率[156]。李等人提出了一种集成模型，该模型结合了基于YO-LO网络的单阶段网络和基于Faster-RCNN网络的两阶段网络进行目标检测。该模型在检测37种害虫和8种病害时，类别维度平均精度均值（mAP）达到85.2%[157]。周等人提出了一种残差蒸馏Transformer框架，解决了水稻叶片病害识别问题。基于预训练的Transformer模型，该方法准确率达到92.0%[158]。此外，自监督学习方法也被引入到植被病虫害识别领域。刘等人通过自监督学习提出了一种基于特征关系条件过滤的训练方法，在多个数据集上实现了较高准确率[159]。卡尔等人采用了视觉表征的最近邻对比学习（NNCLR）等方法。通过ImageNet初始化进行迁移学习和微调，他们实现了79.0%的分类准确率[160]。

人工智能技术在植被病害诊断领域展现出强大潜力，取得了重大突破。深度学习，尤其是基于预训练模型的方法已成为主流，极大提高了植被病害检测与诊断的准确率和效率。然而，现有挑战主要源于深度学习模型在通用计算机视觉数据集而非专门的植被数据集上进行训练，导致缺乏领域知识。基于预训练模型，研究人员提出了各种有效的植被病害识别框架。从使用VGG16模型构建珍珠粟霜霉病识别系统，到基于自监督学习方法将ViT模型应用于茶树病害识别，这些方法在提高诊断效率和准确率方面取得了显著成果。未来，植物病害识别领域将继续面临一系列机遇与挑战。持续优化和专业化预训练模型，以及更多关注植被数据集，将是关键方向。此外，大语言模型在植被病害预测和农业管理中的应用值得深入探索。该领域的发展将为实现更精准高效的农业生产和植被病害防控提供有力支持。

结论与未来工作

深度学习在植物病虫害管理领域的潜力显而易见，其强大的数据处理和特征提取能力在图像分类和目标检测等任务中具有显著优势。然而，仍然存在重大局限性和挑战，必须加以解决，以确保这些技术的实际适用性和可扩展性。

数据是训练深度学习模型的基础。目前，大多数数据集仅限于单一植物类型，未能涵盖现实农业环境的多样性和复杂性。为提高模型的准确性和鲁棒性，未来研究应优先开发多类别、大规模数据集，整合不同数据类型，如气象、土壤和传感器信息，以创建多模态数据集。在这类数据集上训练模型，不仅能提高病虫害检测的准确性和泛化能力，还为将这些模型应用于实际场景奠定基础。
另一个重大局限在于模型训练。深度学习模型在部署前需要大量计算资源和较长的训练时间。为应对这一挑战，许多研究探索了模型轻量化技术，通过减少模型参数数量来提高训练效率。未来研究应聚焦于在终端设备上部署深度学习模型，并开发端到端的植物病虫害检测系统。
深度学习模型缺乏可解释性，进一步限制了其实际应用，因为农业从业者通常需要透明的决策过程，才能信任模型预测并采取适当行动。未来应着重开发可提供可行见解的可解释框架，从而弥合农业技术进步与实际应用之间的差距。

解决当前这些局限性，对于充分释放深度学习在植物病虫害管理中的潜力至关重要。通过克服数据、计算和可解释性方面的挑战，同时利用多模态数据集成和模型轻量化等新兴机遇，深度学习有潜力推动农业可持续发展。

总之，深度学习因其在图像处理方面的卓越表现，在植物病虫害检测中具有巨大潜力和研究价值。本研究全面综述了深度学习在该领域应用的研究，重点关注植物病虫害图像分类、语义分割、目标检测、变化检测、病虫害预测以及大模型应用等关键方面。总体而言，尽管卷积神经网络及其变体在植物病虫害检测中取得了显著成功，但它们在实际农业生产中的广泛应用仍然有限。有效地将农业知识与深度学习算法和模型相结合，并将研究成果转化为实际应用，是一项重大挑战。然而，随着更深入的跨学科合作和持续的技术迭代，深度学习在植物病虫害检测中的应用潜力将得到进一步实现，为智能精准农业管理提供有力支持。