農(nóng)業(yè)機(jī)器人視覺(jué)識(shí)別雜草技術(shù)

雜草是農(nóng)作物生產(chǎn)中的一大威脅，因?yàn)樗�與農(nóng)作物爭(zhēng)奪養(yǎng)分、水分、空間和光照。每年，雖然投入了大量的勞力、除草劑和精力，但雜草的侵襲給全世界的農(nóng)業(yè)生產(chǎn)造成了巨大的損失。目前，化學(xué)除草仍是農(nóng)業(yè)生產(chǎn)體系中控制雜草的主要方式。通過(guò)在全田均勻噴灑除草劑，可以迅速消滅大部分雜草，成本低、效率G。隨著人們對(duì)食品安全和環(huán)境保護(hù)的日益重視，盡量減少化學(xué)除草劑的使用是大勢(shì)所趨。通過(guò)以非化學(xué)方式自動(dòng)清除雜草或準(zhǔn)確施用除草劑，機(jī)器人系統(tǒng)被認(rèn)為是減少傳統(tǒng)農(nóng)業(yè)中二氧化碳排放和農(nóng)用化學(xué)品環(huán)境負(fù)荷的可行選擇。為了實(shí)現(xiàn)G性能的機(jī)器人除草，特別是行內(nèi)處理，需要正確檢測(cè)和定位作物和雜草。世界各地的研究人員已經(jīng)探索出了廣泛的植物檢測(cè)和定位方法，這些方法基于RTK GPS(實(shí)時(shí)運(yùn)動(dòng)學(xué)定位系統(tǒng))、機(jī)器視覺(jué)、激光傳感器、X射線、超聲波等。RTK GPS系統(tǒng)可以為機(jī)器人除草提供作物植株和雜草的J對(duì)位置，其前提是在處理前利用RTK GPS引導(dǎo)種植系統(tǒng)對(duì)作物進(jìn)行種植，或者已經(jīng)建立了作物/雜草分布圖[1，2]�；�于RTK-GPS的除草系統(tǒng)不會(huì)受到雜草密度、陰影、缺株的不利影響，但會(huì)受到衛(wèi)星分布、天氣狀況、無(wú)線電干擾和地理環(huán)境的影響。一些研究者研究了用激光傳感器檢測(cè)植物的方法[3，4，5]。激光傳感器通常價(jià)格相對(duì)較G，并且需要復(fù)雜的程序來(lái)處理輸出的三維點(diǎn)云。X射線可以用于作物檢測(cè)，因?yàn)橹参锏闹髑o會(huì)吸收X射線能量[6]。然而，X射線系統(tǒng)的安全性和成本是人們關(guān)心的問(wèn)題。在這一L域的研究報(bào)道非常少。隨著計(jì)算機(jī)技術(shù)、圖形學(xué)和圖像處理技術(shù)的快速發(fā)展，機(jī)器視覺(jué)已被廣泛應(yīng)用于各種農(nóng)業(yè)任務(wù)中。沿作物行的自主引導(dǎo)、單個(gè)植株的檢測(cè)、機(jī)器人除草的雜草圖繪制等都是應(yīng)用機(jī)器視覺(jué)的重要L域。由于機(jī)器視覺(jué)可以提供目標(biāo)物的顏色、形狀、紋理、深度等豐富的信息，且精度相當(dāng)G，成本相對(duì)較低，因此以往關(guān)于植物檢測(cè)的研究大多基于機(jī)器視覺(jué)。                       

 圖1 各類農(nóng)業(yè)機(jī)器人
田間環(huán)境是復(fù)雜多變的非結(jié)構(gòu)化環(huán)境，受氣候、時(shí)間、農(nóng)藝措施等因素影響。因此，研究人員在設(shè)計(jì)機(jī)器視覺(jué)系統(tǒng)和圖像處理算法時(shí)，需要考慮到除草作業(yè)的要求以及田間環(huán)境的特點(diǎn)。基于機(jī)器視覺(jué)的系統(tǒng)應(yīng)用于機(jī)器人除草中，一個(gè)值得關(guān)注的問(wèn)題是，它們很可能受到自然光的影響，而自然光會(huì)隨著時(shí)間的變化而變化。這主要給植被(作物和雜草)和背景(裸露的土壤、巖石和殘留物)之間的分割以及特征提取帶來(lái)困難。另一個(gè)挑戰(zhàn)是區(qū)分外表相似的農(nóng)作物和雜草。此外，當(dāng)植物之間發(fā)生嚴(yán)重遮擋時(shí)，識(shí)別單個(gè)植物是非常具有挑戰(zhàn)性的。到目前為止已經(jīng)在1）應(yīng)對(duì)不同的室外光照，2）作物/雜草識(shí)別方面付出了大量的努力。本文根據(jù)近期發(fā)表的論文Review of Machine-Vision-Based Plant Detection Technologies forRobotic Weeding，一起了解相關(guān)工作。
 
二、處理多變的自然光
當(dāng)機(jī)器視覺(jué)系統(tǒng)在野外環(huán)境中工作時(shí)，日光的強(qiáng)度和光譜內(nèi)容可能會(huì)隨著時(shí)間的推移而變化。在晴天，由于圖像中存在G光和陰影，圖像處理變得更加困難。因此，有必要設(shè)計(jì)出對(duì)光線變化具有魯棒性的系統(tǒng)及其算法。許多研究者已經(jīng)研究了在不同自然光照下提G機(jī)器視覺(jué)系統(tǒng)性能的方法，如使用陰影、特別注意選擇分割指數(shù)，或其他方法使圖像處理算法對(duì)可變光照更加強(qiáng)大。

A. 陰影和人工照明
在許多研究中，為了獲得恒定的光照條件，采用了人工照明和遮光等物理方法。如圖1(a)所示，[7]所述的雜草識(shí)別系統(tǒng)擁有三盞400 W金屬鹵素?zé)舻膶Ｓ弥参餆魜?lái)照亮視野，并有一個(gè)防光的聚乙烯薄膜罩來(lái)遮擋自然光。商用機(jī)器人除草系統(tǒng)Steketee IC[8]的金屬罩下安裝有攝像頭和大功率LED燈，用于監(jiān)控每行作物，如圖1(b)所示。金屬罩保證了不會(huì)受到陽(yáng)光和陰影的影響。圖1(c)中的BoniRob農(nóng)業(yè)田間機(jī)器人[9]也是利用陰影以及人工照明來(lái)控制作業(yè)區(qū)域的光照度。有些系統(tǒng)只采用人工照明來(lái)維持相對(duì)穩(wěn)定的照明條件。如圖1(d)所示，Robovator行內(nèi)除草系統(tǒng)[10]在每個(gè)攝像頭后面安裝了一個(gè)鹵素?zé)�，以保持相�?duì)穩(wěn)定的照明。但在圖像采集區(qū)域上方?jīng)]有配備遮擋物。AgBot II[11，12]在攝像頭后面配備了脈沖照明模塊，以提G采集圖像的質(zhì)量，如圖1(e)所示。至于這兩套系統(tǒng)，從環(huán)境中反射的自然光及其機(jī)械部件的陰影仍可能影響機(jī)器視覺(jué)系統(tǒng)。對(duì)于視場(chǎng)較窄的視覺(jué)系統(tǒng)來(lái)說(shuō)，通過(guò)拼接機(jī)械方案和人工照明來(lái)應(yīng)對(duì)多變的自然光，降低開(kāi)發(fā)圖像處理算法的難度。然而，一些除草系統(tǒng)，如圖1(f)所示的Garford Robocrop InRow除草機(jī)[13]，使用每臺(tái)攝像機(jī)監(jiān)視多行作物。為了獲得足夠?qū)挼囊曇�，攝像機(jī)應(yīng)安裝在較G的位置。在這種情況下，陰影和人工照明會(huì)導(dǎo)致機(jī)器更加笨重和昂貴。許多研究人員堅(jiān)持不懈地致力于設(shè)計(jì)對(duì)可變光照更為穩(wěn)健的圖像處理算法。
 
B. 考慮光照變化的圖像處理
在大多數(shù)植物檢測(cè)方法中，首先要對(duì)植被(農(nóng)作物和雜草)和土壤背景進(jìn)行分割，然后進(jìn)行農(nóng)作物/雜草識(shí)別和定位程序。因此，植被和土壤背景的分割直接受到光照條件變化的影響。目前大多方法均在自然光照下采集的圖像上進(jìn)行了測(cè)試，取得了一些良好的效果。但是，現(xiàn)場(chǎng)條件復(fù)雜多變，一種指數(shù)或分割方法很難具有普遍適用性。在更具挑戰(zhàn)性的情況下，如處理中午在強(qiáng)烈陽(yáng)光下采集的帶有部分陰影的圖像，需要進(jìn)一步的測(cè)試和驗(yàn)證，以改進(jìn)現(xiàn)有的方法，開(kāi)發(fā)出更通用、更穩(wěn)健的方法。
 
三、作物/雜草識(shí)別  
在機(jī)器人除草的作物和雜草檢測(cè)程序中，重要的一步是正確區(qū)分作物植株和雜草。由于雜草的種類繁多且分布不規(guī)則，而農(nóng)作物和雜草在物理特征上又有相似之處，因此區(qū)分農(nóng)作物和雜草并不是一件容易的事情。傳統(tǒng)的方法通常是利用農(nóng)作物和雜草在顏色（或光譜特征）、形狀、質(zhì)地、大小、G度和分布等特征上的差異。隨著深度學(xué)習(xí)技術(shù)的興起，越來(lái)越多的研究者開(kāi)始應(yīng)用深度神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行端到端的作物/雜草識(shí)別。
 
A. 基于顏色的作物/雜草識(shí)別
雖然大多數(shù)作物和雜草都是綠色的，但它們的光譜特征是不同的。直觀地說(shuō)，它們呈現(xiàn)出不同的綠色。顏色特征的提取比較簡(jiǎn)單快速，這對(duì)于根據(jù)顏色的區(qū)別來(lái)區(qū)分農(nóng)作物和雜草是有利的。基于顏色特征的方法與基于紋理或形狀特征的方法相比，通常不那么復(fù)雜。當(dāng)待區(qū)分植物的顏色（光譜特征）比較接近時(shí)，使用顏色特征不能達(dá)到滿意的區(qū)分效果。在更多的研究中，研究人員將顏色與其他特征結(jié)合起來(lái)進(jìn)行作物/雜草的識(shí)別。
 
B. 基于形狀的作物/雜草識(shí)別
由于田間植物的葉子形狀各異，為視覺(jué)上區(qū)分不同植物提供了重要的信息來(lái)源。因此，許多方法設(shè)計(jì)并提取形狀特征來(lái)區(qū)分作物和雜草。當(dāng)植物葉子完好無(wú)損且無(wú)遮擋時(shí)，基于形狀的方法可以非常有效。當(dāng)植物葉片上有重疊和損傷時(shí)，提取形狀特征的難度明顯增加。此外，由于作物和雜草種類繁多，目前還缺乏一套通用的形狀特征用于作物/雜草的識(shí)別。
 
C. 基于紋理的作物/雜草識(shí)別
 在田間圖像中，由于植物在葉子大小、輪廓、脈絡(luò)分布和密度上的差異，植物呈現(xiàn)出不同的紋理。因此，可以利用紋理特征來(lái)區(qū)分作物和雜草�；�于紋理的方法在植物G層的紋理頻率存在顯著差異的情況下非常有用。與形狀特征類似，紋理特征提取也是一個(gè)相對(duì)復(fù)雜、計(jì)算量大的圖像處理過(guò)程。通常情況下，特征選擇和降維算法來(lái)選擇貢獻(xiàn)度較好的特征作為分類器的輸入。紋理特征的優(yōu)點(diǎn)是當(dāng)作物和雜草的葉子相互遮擋時(shí)，它比形狀特征在分離和識(shí)別方面更加穩(wěn)健。
 
D. 基于G度的作物/雜草識(shí)別
通常，在同一田塊中，作物植株的G度與雜草的G度大體相近，而與雜草的G度不同。特別是在移栽的作物田中，作物植物在G度上比雜草有明顯的優(yōu)勢(shì)。立體視覺(jué)系統(tǒng)可以獲得視野內(nèi)的深度信息，這為根據(jù)作物和雜草的G度進(jìn)行分割提供了一種方法�；�于立體視覺(jué)的方法優(yōu)勢(shì)明顯，因?yàn)樗鼈兛梢岳�用二維圖像的信息，同時(shí)引入植物的G度。另一方面，它們的缺點(diǎn)是需要復(fù)雜而耗時(shí)的程序來(lái)處理三維點(diǎn)云數(shù)據(jù)。
 
E. 基于分布的作物/雜草識(shí)別
由于大部分農(nóng)作物都是按一定的行距種植的，現(xiàn)有的很多方法都是根據(jù)農(nóng)作物植株的線性分布來(lái)提取農(nóng)作物行，在此基礎(chǔ)上可以有效地將農(nóng)作物與行間雜草分開(kāi)。植物的空間排列可以成為一個(gè)可靠的特征，因?yàn)樗�受視覺(jué)外觀變化的影響更小。但是，它需要根據(jù)作物種植模式對(duì)每塊田地進(jìn)行調(diào)整，并且受到缺株和種植不準(zhǔn)確的干擾。
 
F. 基于深度學(xué)習(xí)的作物/雜草識(shí)別
由于作物和雜草種類繁多，且缺乏一個(gè)通用的特征，大多數(shù)方法通過(guò)結(jié)合多個(gè)特征來(lái)判別作物和雜草。針對(duì)不同的識(shí)別對(duì)象和環(huán)境，選擇合適的特征和分類方法是提G算法魯棒性的關(guān)鍵。與傳統(tǒng)方法相比，深度學(xué)習(xí)技術(shù)J大地改變了特征選擇和分類方式。深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)呈現(xiàn)出強(qiáng)大的特征提取能力，可以進(jìn)行端到端的預(yù)測(cè)。深度學(xué)習(xí)技術(shù)在作物和雜草識(shí)別中的應(yīng)用已成為新的研究前沿。深度學(xué)習(xí)方法的性能明顯優(yōu)于依靠手工制作特征的傳統(tǒng)方法。它們還呈現(xiàn)出良好的泛化能力，這對(duì)于在真實(shí)的農(nóng)業(yè)環(huán)境中工作是一個(gè)重要的特征，因?yàn)橹参锏姆N類和外觀會(huì)隨著田地和表象的變化而變化。然而，J大多數(shù)基于深度學(xué)習(xí)的方法都采用監(jiān)督學(xué)習(xí)，需要大量的訓(xùn)練數(shù)據(jù)才能獲得佳性能。
 
G. 現(xiàn)有數(shù)據(jù)集
目前，能夠找到的開(kāi)源野外圖像數(shù)據(jù)集非常少。這主要是由于植物種類和田間條件的多樣性，而且田間圖像的標(biāo)注過(guò)程具有挑戰(zhàn)性，非常耗時(shí)。其中一個(gè)被廣泛使用的公開(kāi)田間圖像數(shù)據(jù)集是由Chebrolu等人創(chuàng)建的[9]。該數(shù)據(jù)集包含了一個(gè)農(nóng)業(yè)機(jī)器人上配備的傳感器收集的5TB數(shù)據(jù)，包括一個(gè)4通道多光譜相機(jī)、一個(gè)RGB-D傳感器和其他傳感器，在三個(gè)月的時(shí)間里從甜菜田里收集到的數(shù)據(jù)。目前，仍缺乏大規(guī)模、G質(zhì)量、多物種、開(kāi)源的田間圖像數(shù)據(jù)集，用于訓(xùn)練植物深度識(shí)別模型，進(jìn)行公平比較，促進(jìn)該研究L域的技術(shù)進(jìn)步。
  
四、結(jié)論
從目前研究情況可以明確以下幾點(diǎn)：1)為了應(yīng)對(duì)野外環(huán)境中多變的自然光，已經(jīng)提出了大量的物理解決方案以及算法，而物理解決方案被認(rèn)為更可靠，更容易實(shí)現(xiàn)。2）雖然基于深度學(xué)習(xí)的方法已經(jīng)優(yōu)于傳統(tǒng)的手工的特征方法，但將手工的特征和其他先驗(yàn)知識(shí)與深度學(xué)習(xí)模型相結(jié)合，有望減少訓(xùn)練和重新調(diào)整模型的標(biāo)注工作；3）立體相機(jī)和多光譜相機(jī)可以參與到更多的系統(tǒng)中，因?yàn)樗鼈兛梢蕴峁└�多的信息，有助于提G系統(tǒng)在挑戰(zhàn)性條件下的準(zhǔn)確性和魯棒性。我們預(yù)計(jì)，未來(lái)在在線大數(shù)據(jù)和計(jì)算源的支持下，基于人工智能和通信技術(shù)的進(jìn)步，植物識(shí)別將更加準(zhǔn)確和精細(xì)。

查看更多相似文章