及早發(fā)現(xiàn)具有重要經(jīng)濟(jì)價(jià)值的植物的病害，如灰霉病菌引起的灰霉病，對于及時(shí)應(yīng)用病害管理策略和減少對作物生產(chǎn)和環(huán)境的影響至關(guān)重要。本研究在受控環(huán)境下對黃瓜植株葉片進(jìn)行了人工接種。利用多光譜成像技術(shù)，在 460、540、640、700、775 和 875 納米波段，同時(shí)利用 RGB 和近紅外（NIR）通道，捕捉真菌的光譜響應(yīng)。從收集到的多光譜圖像中創(chuàng)建了兩個(gè)注釋圖像數(shù)據(jù)集，分別命名為 "Botrytis-detection "和 "Botrytis-classification"。在這兩個(gè)數(shù)據(jù)集上進(jìn)行了多項(xiàng)基于深度學(xué)習(xí)的分類和物體檢測實(shí)驗(yàn)。分類結(jié)果表明，深度學(xué)習(xí)模型能以 0.93 的準(zhǔn)確率（F1 分?jǐn)?shù) 0.89）將兩個(gè)類別區(qū)分開來。而物體檢測的平均精度（mAP50）為 0.88，為今后在早期檢測出灰霉病菌引起的灰霉病鋪平了道路。

1.       說明

1.1.   病害

灰霉病菌（Botrytis cinerea）是一種壞死性真菌病原體，可感染 500 多種植物。這種病原體對農(nóng)業(yè)部門產(chǎn)生了巨大的經(jīng)濟(jì)影響，每年給全球作物生產(chǎn)造成 100 多億美元的損失。由于巨大的經(jīng)濟(jì)影響力以及頻繁防治導(dǎo)致的環(huán)境影響，灰霉病菌被列為第二大植物病原體。灰霉病菌是一種通過空氣傳播的植物病原體，但它也可以通過水或土壤傳播。低溫、高濕度、空氣流通差和樹冠潮濕有利于灰霉病菌的感染。由于這些條件主要存在于受保護(hù)的環(huán)境中，因此溫室中種植的作物比露天種植的作物感染的病害更嚴(yán)重?；颐共〉陌Y狀出現(xiàn)在植物的花、葉、莖和果實(shí)上，影響作物的生長和產(chǎn)量。由于灰霉病菌引起的癥狀與其他生物或非生物制劑引起的癥狀相似，因此僅憑目測癥狀無法檢測和識別病原體，除非這些癥狀上出現(xiàn)真菌跡象（分生孢子梗和分生孢子）。一旦肉眼觀察到灰霉病的癥狀（病斑、枯萎、腐爛和萎蔫），就可以主要使用傳統(tǒng)的化學(xué)殺菌劑來控制灰霉病。由于早期癥狀更可能是非特異性的，而且變化很大，因此要確定可能的感染，應(yīng)在目視檢查后進(jìn)行實(shí)驗(yàn)室檢測，如分離和培養(yǎng)酶聯(lián)免疫吸附試驗(yàn)（ELISA）、聚合酶鏈反應(yīng)（PCR）和組織印跡分析等。然而，上述方法耗時(shí)耗力，成本也高。因此，必須及早發(fā)現(xiàn)灰霉病，以限制其蔓延，減少園藝中化學(xué)殺蟲劑和有害殺蟲劑的總體使用量。

1.2.   光譜成像技術(shù)

事實(shí)證明，光譜成像是一種創(chuàng)新技術(shù)，在表型分析和非侵入式感知作物生理狀態(tài)方面潛力巨大，有助于植物病害檢測。最近的一項(xiàng)研究表明，近紅外光譜是區(qū)分受感染的葉片區(qū)域最有參考價(jià)值的光譜范圍。

1.3.   文獻(xiàn)綜述

近年來，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法在植物真菌病害的檢測中得到了廣泛應(yīng)用，提供了一種具有高精確度結(jié)果的強(qiáng)大工具。Sanchez 等人（2020 年）使用 K 近鄰算法、支持向量機(jī)、隨機(jī)森林和人工神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)技術(shù)，以及高斯濾波器和形態(tài)學(xué)運(yùn)算來提取圖像特征，從而對石榴的灰霉病進(jìn)行識別和分類。結(jié)果顯示，擬議方法的準(zhǔn)確率為 96%。Qasrawi 等人（2021 年）對機(jī)器學(xué)習(xí)模型進(jìn)行了訓(xùn)練，以對番茄植物病害（包括 B.cinerea）進(jìn)行聚類、預(yù)測和分類，神經(jīng)網(wǎng)絡(luò)和邏輯回歸模型的準(zhǔn)確率分別達(dá)到了 70.3% 和 68.9%。Jung 等人（2022 年）的研究使用了接種了灰霉病菌的草莓葉片的高光譜圖像（150 個(gè)波段），并利用二維和三維卷積神經(jīng)網(wǎng)絡(luò) (CNN) 將其分為感染區(qū)、無癥狀區(qū)和健康區(qū)，準(zhǔn)確率分別為 74% 和 84%。

盡管已對許多蔬菜作物上的黑穗病所引起的癥狀進(jìn)行了研究，但在利用深度學(xué)習(xí)結(jié)合光譜成像檢測黃瓜植株上的黑穗病所引起的早期癥狀方面還缺乏研究。不過，上述植物在其他真菌病害方面的研究也取得了可喜的成果。Fernandez 等人（2021 年）利用黃瓜植株上的多光譜圖像檢測白粉?。≒odosphaera xanthii）。Mia 等人（2021 年） 對感染了多種病害（霜霉病、白粉病、馬賽克病毒、腹腐病、瘡痂病和棉花漏）的黃瓜植株使用了傳統(tǒng)的 RGB 成像技術(shù)，深度學(xué)習(xí)的準(zhǔn)確率達(dá)到了 93.23%。

1.4.   貢獻(xiàn)

在本研究中，我們旨在利用深度學(xué)習(xí)模型研究多光譜成像在檢測黃瓜植株中的灰霉病方面的實(shí)用性。本文有三方面的貢獻(xiàn)，目的是：i) 建立一個(gè)多光譜圖像數(shù)據(jù)集，用于檢測（邊界框）灰霉病感染植物和健康植物的葉片并進(jìn)行分類，以作為訓(xùn)練和標(biāo)桿；ii) 進(jìn)行灰霉病的檢測和分類實(shí)驗(yàn)，并提出最合適的方法；iii) 檢驗(yàn)近紅外光譜對灰霉病識別的有用性，并確定可用光譜中最有影響力的波段。本文結(jié)構(gòu)如下。第 2 節(jié)介紹了數(shù)據(jù)集的獲取、標(biāo)記和圖像統(tǒng)計(jì)。第 3 節(jié)介紹實(shí)驗(yàn)結(jié)果。第 4 節(jié)為研究結(jié)論。

2.       數(shù)據(jù)集

2.1.   實(shí)驗(yàn)設(shè)置

為了收集數(shù)據(jù)，對健康的黃瓜植株進(jìn)行了灰霉病人工接種。本實(shí)驗(yàn)使用了在馬鈴薯葡萄糖瓊脂上常規(guī)培養(yǎng)的灰霉病菌分離株。植物病原真菌的接種物來自在 23°C 生長 3 周的培養(yǎng)物。為了制備接種體，使用滅菌菌環(huán)從孢子培養(yǎng)物中獲取孢子，并將其懸浮在 5 毫升添加了葡萄糖（4% w/v）的去離子水中。然后用消毒紗布過濾懸浮液以去除菌絲，并用血細(xì)胞計(jì)數(shù)器測量孢子濃度。將孢子懸浮液稀釋至1*10⁵個(gè)孢子/毫升的濃度。

四株黃瓜盆栽播種后在植物生長室的可控條件下生長（25°C，68% 濕度，16 小時(shí)光照—8 小時(shí)黑暗，光源：GRO-LUX LED 全光譜燈）并進(jìn)行人工接種，另外四株相同的黃瓜盆栽作為對照樣本。在每株植物的兩片葉子上，用無菌吸管尖劃傷表皮，產(chǎn)生兩個(gè)直徑約 0.5 厘米的表皮病變。隨后，在每個(gè)病變體上滴兩滴液體接種體（每滴 10 微升）。接種后的植物用黑色塑料袋覆蓋，以保持濕度，為真菌感染提供理想的條件。

2.2.   數(shù)據(jù)采集

對于蔬菜作物來說，成像信息量最大的波長范圍是可見光范圍（紅、綠、藍(lán)：RGB）和近紅外（NIR）范圍。顯然，RGB 波段（400-700 納米）能更好地捕捉葉片色素的變化，而近紅外波段（700-1300 納米）則能反映葉肉細(xì)胞結(jié)構(gòu)的變化。為了捕捉多光譜圖像，我們使用了MUSES9-MS相機(jī)，調(diào)諧波長為460、540、640、700、775和875nm，包括可見光譜和近紅外光譜，分辨率為3096×2080像素。 

數(shù)據(jù)采集從人工接種后（時(shí)間點(diǎn) 0）開始，連續(xù)進(jìn)行五天。接種后 72 小時(shí)，農(nóng)藝師目測接種葉片上的真菌感染癥狀。多光譜成像技術(shù)用于捕捉灰霉病的早期癥狀。第一張圖片是在接種灰霉病菌的當(dāng)天拍攝的，隨后連續(xù)五天在 12:00 時(shí)，在人工和自然光下重復(fù)拍攝。目的是獲得多光譜照相機(jī)能檢測到但肉眼難以發(fā)現(xiàn)的真菌早期癥狀的數(shù)據(jù)。圖1和圖2顯示了各個(gè)光譜的示例。拍攝到的圖像包括單株植物，清晰地描繪了它們的所有葉片。此外，還采集了植物群的圖像，以模擬現(xiàn)實(shí)條件。這樣，就可以模擬實(shí)地條件，從而使結(jié)果可以在實(shí)驗(yàn)室條件之外使用。

圖1：黃瓜植株接種 4 天后的六個(gè)不同光譜波段（460、540、640、700、775、875）以及邊界框注釋。

綠色：健康葉片，紫色：灰霉病葉片。

圖2：灰霉病菌分類數(shù)據(jù)集中感染灰霉病菌 4 天后的黃瓜葉片的六個(gè)不同光譜帶（460、540、640、700、775 和 875）。

2.3.   數(shù)據(jù)注釋

收集到的 121 幅圖像（98幅有癥狀的植物圖像和 23幅健康植物圖像）已用方框標(biāo)注，方框內(nèi)的葉片分為兩類：感染灰霉病的葉片和作為對照的健康葉片。為此，我們使用了基于 YOLOv5 實(shí)現(xiàn)的自定義葉片檢測器，并在 PlantDoc 數(shù)據(jù)集上進(jìn)行了訓(xùn)練。自定義樹葉檢測器對收集到的圖像中的大部分樹葉進(jìn)行了標(biāo)注。之后，農(nóng)學(xué)家通過添加缺失的邊界框和完善現(xiàn)有的邊界框來修改注釋。此外，農(nóng)藝師還為每片標(biāo)注的葉片貼上正確的標(biāo)簽：感染或健康的葉片。由此產(chǎn)生的邊界框以及隨后的葉片數(shù)量為 580 片；138 片感染了 B. cinerea 的葉片和 442 片健康葉片（來自接種和未接種的植物）。

2.4.   創(chuàng)建數(shù)據(jù)集

根據(jù)收集到的多光譜圖像創(chuàng)建了兩個(gè)數(shù)據(jù)集。第一個(gè)數(shù)據(jù)集是灰霉病檢測數(shù)據(jù)集，包括邊界框注釋，對應(yīng)于健康葉片和受灰霉病感染葉片的檢測（見圖 1）。第二種是灰霉病分類，相當(dāng)于將葉片分為兩類：感染了灰霉病的葉片和健康的葉片（見圖 2）。后者是通過裁剪前者的每個(gè)邊框并將其保存為單獨(dú)圖像而生成的。這兩個(gè)數(shù)據(jù)集都分為訓(xùn)練-測試兩部分，其中測試集由包含一種特定受感染黃瓜植物的所有圖像組成。這一選擇是為了訓(xùn)練出盡可能無偏的模型，使其能夠泛化到未見過的數(shù)據(jù)中。表1列出了兩個(gè)數(shù)據(jù)集中的圖像數(shù)量，其中還報(bào)告了感染灰霉病的葉片和健康葉片的數(shù)量。最后兩列表示每個(gè)類別中邊界框的數(shù)量和裁剪圖像的數(shù)量。

表1：灰霉病檢測數(shù)據(jù)集和灰霉病分類數(shù)據(jù)集的各分集圖數(shù)量

3.       實(shí)驗(yàn)評估

3.1.   標(biāo)桿實(shí)驗(yàn)

為了全面評估創(chuàng)建的灰霉病數(shù)據(jù)集，首先利用 CNN 評估了灰霉病分類數(shù)據(jù)集的分類性能。隨后，在帶有邊界框注釋的灰霉病檢測數(shù)據(jù)集中對最先進(jìn)的物體檢測模型進(jìn)行了評估。分類實(shí)驗(yàn)的目的是確定哪種波長組合最有信息量，以便利用從分類實(shí)驗(yàn)中提取的知識進(jìn)一步開展重點(diǎn)檢測實(shí)驗(yàn)。

3.2.   評估標(biāo)準(zhǔn)

在分類任務(wù)中，F(xiàn)1 分?jǐn)?shù)是比較模型結(jié)果的主要指標(biāo)。為深入了解情況，還報(bào)告了準(zhǔn)確率、回歸率和精確率。準(zhǔn)確度通常描述了模型在所有類別中的表現(xiàn)。精確度衡量模型僅識別相關(guān)對象的能力，而回歸率衡量模型找到所有相關(guān)情況（所有地面真實(shí)邊界框）的能力。F1 分?jǐn)?shù)綜合了精確度和回歸率兩個(gè)指標(biāo)，因此更加全面。

至于物體檢測任務(wù)，則采用了 COCO 檢測指標(biāo)，這是一種更為全面和通用的檢測指標(biāo)。使用的度量指標(biāo)包括：，

3.3.   數(shù)據(jù)增強(qiáng)

根據(jù) Krizhevsky 等人（2012 年）的研究，當(dāng)數(shù)據(jù)集中的圖像數(shù)量不足時(shí)，有必要進(jìn)行數(shù)據(jù)擴(kuò)增，以便模型能更好地泛化。我們使用了幾種技術(shù)，人為地?cái)U(kuò)大了所創(chuàng)建數(shù)據(jù)集中的圖像數(shù)量。就灰霉病分類數(shù)據(jù)集而言，這些技術(shù)包括幾何變換（水平翻轉(zhuǎn)、縮放、平移）。此外，在灰霉病數(shù)據(jù)集中還使用了馬賽克增強(qiáng)技術(shù)，該技術(shù)可在遮擋（物體隱藏在另一個(gè)物體后面）或平移的情況下改進(jìn)模型。這些技術(shù)只用于訓(xùn)練，而不用于評估。

3.4.   分類結(jié)果

在分類任務(wù)中，使用了多個(gè)深度學(xué)習(xí)分類模型，包括 這些模型包括：AlexNet、DenseNet-121、EfficientNet B0 和 B1、GoogLeNet、MobileNet v3 small、ResNet-18、ResNet-34 和 ResNet-50、VGG-11 和 VGG-11 with Batch Normalization (BN)。目標(biāo)是為每種波長組合找到最佳架構(gòu)。

所有網(wǎng)絡(luò)都在 ImageNet 上進(jìn)行了預(yù)訓(xùn)練，并在灰霉病分類數(shù)據(jù)集上進(jìn)行了微調(diào)。每個(gè)模型的所有層都通過隨機(jī)梯度下降優(yōu)化器（Stochastic Gradient Descent optimizer）進(jìn)行了微調(diào)，批量大小為16，歷時(shí)100次。權(quán)重衰減和動(dòng)量參數(shù)分別設(shè)置為0.0001和0.9。輸入圖像的大小固定為224×224。分類實(shí)驗(yàn)使用PyTorch實(shí)現(xiàn)，并在配備8GB板載內(nèi)存的英偉達(dá)RTX 3070 Ti GPU上執(zhí)行。

表2顯示了模型在不同評價(jià)指標(biāo)上的分類性能。僅報(bào)告了三波長的結(jié)果。表2顯示了模型在不同評價(jià)指標(biāo)上的分類性能。此外，還對所有六種波長以及 PCA 轉(zhuǎn)換后的波長（從6 到3）進(jìn)行了實(shí)驗(yàn)，但結(jié)果遠(yuǎn)遠(yuǎn)不能使用。

表2：灰霉病分類結(jié)果

*：粗體行表示 F1 分?jǐn)?shù)最高的試驗(yàn)。

就所有評估指標(biāo)而言，RGB和近紅外波長的性能完全相同。然而，波長為875nm、460nm 和640nm的波長組合優(yōu)于所有其他光譜，F(xiàn)1得分為0.888，是實(shí)驗(yàn)中觀察到的最高分。后者的回歸率也是最高的，而回歸率是識別灰霉病的重點(diǎn)。在識別病害的情況下，將健康葉片誤判為感染了灰霉?。ㄒ跃_度衡量）并不那么重要。不過，為了平衡精確度和回歸率之間的平衡，F(xiàn)1 分?jǐn)?shù)更為可取。值得注意的是，除 RGB 和近紅外波長外，F(xiàn)1-分?jǐn)?shù)最高的前五個(gè)模型都包含 875 nm 波長，這似乎提高了模型的回歸率，從而提高了檢測灰霉病菌的能力。除了波長為 460、540 和 700 nm 的通道外，波長為 875 nm 的通道出現(xiàn)在所有評級最高的回歸率中。關(guān)于性能最佳模型的結(jié)構(gòu)，帶有 BN 的 VGG-11 似乎是最主要的結(jié)構(gòu)，無論輸入是什么，它都具有很高的泛化能力。

3.5.   檢測結(jié)果

對于物體檢測任務(wù)，我們采用了先進(jìn)深度學(xué)習(xí)檢測器，并在灰霉菌檢測數(shù)據(jù)集上進(jìn)行了評估： YOLOv5和YOLOv7都是實(shí)時(shí)的，計(jì)算成本較低。YOLOv5選擇CSP-Darknet53作為CNN骨干，YOLOv7選擇 E-ELAN作為CNN骨干。每個(gè)模型都使用隨機(jī)梯度下降優(yōu)化器進(jìn)行訓(xùn)練，批量大小為8。學(xué)習(xí)率設(shè)定為0.001。權(quán)重衰減和動(dòng)量參數(shù)分別設(shè)置為0.0001和0.937。輸入圖像的大小固定為1024×1024。檢測實(shí)驗(yàn)基于PyTorch對YOLOv5和YOLOv7進(jìn)行，在英偉達(dá)RTX 3070 Ti GPU上進(jìn)行的。

檢測結(jié)果如表3所示。需要注意的是，YOLOv5使用的是中型模型（YOLOv5m），在給定的設(shè)置中，與 YOLOv5的其他變體相比，YOLOv5m的性能更好。至于 YOLOv7，使用的是YOLOv7-E6E，其性能優(yōu)于同類的所有其他型號，在所有波長上都有較高的指標(biāo)。

表3：灰霉病檢測結(jié)果

在疾病檢測場景中，重要的指標(biāo)是mAP50，其次是回歸率?；貧w率指標(biāo)顯示了模型檢測受灰霉病感染葉片的能力。從結(jié)果中可以看出，460、640和875nm組合的mAP50最高。不過，要在mAP50和回歸率之間進(jìn)行良好權(quán)衡，460、775和875nm的組合似乎與的表現(xiàn)類似，但回歸率明顯更高（0.857；就mAP50而言，比表現(xiàn)最好的模型高出0.125）。因此，具有最高回歸率的后一種模型具有更強(qiáng)的檢測灰霉菌的能力，但卻會將健康的葉片誤判為感染了灰霉菌。此外，將部分 RGB 波段與一個(gè)或兩個(gè)近紅外波段相結(jié)合似乎能提高模型的性能，而僅使用 RGB 或僅使用近紅外波段則性能較低。因此，875 nm 波長對于實(shí)現(xiàn)高指標(biāo)和準(zhǔn)確檢測灰霉病至關(guān)重要。

4.       結(jié)論

在本研究中，利用多光譜圖像進(jìn)行了深度學(xué)習(xí)實(shí)驗(yàn)，以對黃瓜葉片上的灰霉菌進(jìn)行分類和檢測。根據(jù)我們的研究結(jié)果，將近紅外光譜與部分 RGB 通道相結(jié)合，可以顯著提高模型檢測感染了灰霉病的葉片的能力，這是因?yàn)榻】等~片和受感染葉片的反射率反差較大。更確切地說，波長為 875 nm 的紅外光譜是取得最佳結(jié)果的關(guān)鍵。初步分類實(shí)驗(yàn)表明，深度學(xué)習(xí)模型能以 0.89 的 F1 分?jǐn)?shù)區(qū)分受感染的葉片。進(jìn)一步的實(shí)驗(yàn)表明，目前最先進(jìn)的物體檢測模型可以檢測出感染黑葉病的葉片，檢測結(jié)果為 mAP50=0.88。我們相信，這項(xiàng)工作將有助于未來的灰霉病識別研究，以支持現(xiàn)場的高效監(jiān)測方法，從而根據(jù)從農(nóng)場到餐桌的戰(zhàn)略進(jìn)行早期檢測和控制。

摘自：Deep learning-based multi-spectral identification of grey mould：Nikolaos Giakoumoglou, Eleftheria Maria Pechlivani , Athanasios Sakelliou,Christos Klaridopoulos,