Plant Phenomics | 基于可平衡特征金字塔網(wǎng)絡(luò)的小蘋果檢測模型

小目標(biāo)果實的精準(zhǔn)檢測對于果園產(chǎn)量預(yù)測與生長監(jiān)測至關(guān)重要。隨著深度學(xué)習(xí)理論研究的深入，其具有自動提取特征和高精度檢測的優(yōu)勢，成為果園目標(biāo)識別的重要手段。然而，小尺度果實的檢測精度僅為大尺度果實的1/2，其根本原因：小尺度果實占據(jù)圖像像素相對較少，經(jīng)特征提取操作后，可映射到小果實的特征逐漸減少，甚至消失。因此，如何在特征融合階段平衡不同尺度果實特征以緩解小尺度果實特征丟失，仍然是一個亟待解決的難題。
 

近日，Plant Phenomics在線發(fā)表了山東師范大學(xué)、機械工業(yè)設(shè)施農(nóng)業(yè)測控技術(shù)與裝備重點實驗室、國家蘋果工程技術(shù)研究中心與卡迪夫大學(xué)合作的題為BFP Net: Balanced Feature Pyramid Network for Small Apple Detection in Complex Orchard Environment的研究論文。

本研究以蘋果園為研究對象，針對不同尺度特征不平衡的問題，從特征金字塔網(wǎng)絡(luò)等比例逐元素特征融合與不同層級特征這兩個角度出發(fā)，提出了可平衡的特征金字塔網(wǎng)絡(luò)（圖1），以提高小蘋果檢測的精確度�？善胶獾奶卣鹘鹱炙�網(wǎng)絡(luò)具體做出了如下貢獻：（1）針對等比例逐元素特征融合的問題，借助類加權(quán)機制對橫向連接與自頂向下結(jié)構(gòu)的特征進行加權(quán)融合；（2）針對不同層級之間多尺度果實特征的不平衡問題，首先在FPN最底層嵌入一個信息豐富的擴展特征，即將特征提取網(wǎng)絡(luò)ResNet50中conv1的輸出引入到FPN最底層作為擴展特征。為更好的保留蘋果特征信息，設(shè)計了解耦-聚合塊，在擴展特征上從空間感知與內(nèi)容感知兩個角度解析-聚合多尺度小蘋果特征；（3）為降低擴展特征的噪聲干擾，使擴展特征與標(biāo)準(zhǔn)特征金字塔網(wǎng)絡(luò)輸出特征分布趨于一致，設(shè)計了一個散度蒸餾損失函數(shù)，將有用的知識從標(biāo)準(zhǔn)FPN的最淺層特征遷移到擴展特征中；（4）本研究不僅在小蘋果數(shù)據(jù)集GreenApple和MinneApple上進行訓(xùn)練與測試，還在通用目標(biāo)檢測數(shù)據(jù)集Pascal VOC上驗證BFP Net的有效性，證明了小蘋果檢測模型BFP Net在其他領(lǐng)域也具有較強的應(yīng)用潛力。
 

圖1 可平衡特征金字塔網(wǎng)絡(luò)的整體流程

實驗結(jié)果表明：提出的BFP Net在GreenApple與MinneApple測試集上能夠提升小蘋果檢測精確度，預(yù)測結(jié)果展示見圖2。BFP Net的小蘋果檢測精確度結(jié)果優(yōu)于CARAFE、SABL與Groie等當(dāng)前流行的深度學(xué)習(xí)網(wǎng)絡(luò)。BFP Net與CARAFE在不同尺度下蘋果精確度-召回率曲線展示見圖3。BFP Net在農(nóng)業(yè)領(lǐng)域之外的通用目標(biāo)檢測數(shù)據(jù)集Pascal VOC上也展現(xiàn)出了較好的目標(biāo)檢測性能，證明其具備較強的泛化性能。
 

圖2 GreenApple（上）與MinneApple（下）測試集上預(yù)測結(jié)果
 

圖3 不同尺度果實精確度與召回率的性能評估

作者介紹

孫美麗，山東師范大學(xué)計算機科學(xué)與技術(shù)專業(yè)碩士生，研究方向為人工智能、農(nóng)業(yè)信息技術(shù)，以第一作者在Plant Phenomics、Journal of King Saud University-Computer and Information Sciences、Complex & Intelligent Systems、Frontiers in Plant Science上發(fā)表學(xué)術(shù)論文4篇。
 

賈偉寬，山東師范大學(xué)副教授，碩士生導(dǎo)師，主要從事人工智能、智慧農(nóng)業(yè)、農(nóng)業(yè)信息技術(shù)與裝備等方向研究，近五年主持省部級以上科研項目4項，以第一作者或通訊作者在Plant Phenomics、Precision Agriculture、Computers and Electronics in Agriculture、IEEE Transactions on Industrial Informatics等期刊上發(fā)表論文30余篇。

論文鏈接：
https://doi.org/10.34133/2022/‍989246‍4

——推薦閱讀——
Prediction of the Maturity of Greenhouse Grapes Based on Imaging Technology
https://doi.org/10.34133/2022/9753427
Plant Phenomics | 基于表型圖像信息與反向神經(jīng)網(wǎng)絡(luò)預(yù)測溫室葡萄成熟度
Wheat Ear Segmentation Based on a Multisensor System and Superpixel Classification
https://doi.org/10.34133/2022/9841985
Plant Phenomics | 基于多傳感器系統(tǒng)和超像素分類的麥穗圖像分割

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會、�？�發(fā)布會等高質(zhì)量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國科學(xué)促進會（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點領(lǐng)域具有突破性科研進展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄。科瑞唯安JCR2021影響因子為6.061，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)，生物大類一區(qū)（Top期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
特邀作者：孫美麗、賈偉寬
編輯：王慧敏（實習(xí)）
審核：孔敏、王平