高光譜成像技術是一項令人振奮的新技術,非常有前景,尤其是結合現代機器學習軟件和執行器(如:機器人或空氣噴氣機)使用時,高光譜成像技術有能力革新工業分類方法,使機器能夠執行人類難以完成的復雜任務。
圖1:農場的高光譜假彩色圖像(左),指定區域的反射光譜曲線(右)
什么是高光譜成像儀?
高光譜成像技術指的是測量二維圖像中每個像素的高分辨率光譜數據。標準相機在每個像素上提供三個光譜數據通道:紅、綠、藍(RGB),視覺者的大腦輸入了這三種顏色的混合顏色,并將它們解釋為一種獨特的顏色。在高光譜圖像中,材料的反射光譜是連續的波長曲線,每個像素上有數百個光譜數據點,它是光譜學的一種,標準光譜儀只提供一個“像素”的光譜測量-沒有成像信息。多光譜成像儀指的是每個像素提供幾個光譜數據通道的照相機,通道數通常在4-12之間。“高光譜”這個術語指的是:許多光譜數據點,它們產生一個近乎連續的光譜曲線,通常在每條曲線上有數百個光譜數據通道。然而,高光譜成像儀的設計和制造要比非成像光譜儀復雜得多,因為二維圖像中每個像素點都需要有連續的光譜曲線,而且最小化光譜失真一直是一個非常困難的光學問題。
圖1顯示了一個農場的高光譜假彩色圖像以及指定區域像素的高光譜曲線;圖2顯示了相同的高光譜數據,但是光譜通道數降低至4個,4個光譜通道的數據類似于Landsat衛星獲得的數據,可以直觀的看出圖1的數據比圖2包含了更多的光譜信息,從而能夠對場景中的對象進行更加精準、可靠的分類。
圖2:與圖1相同像素區域的多光譜數據,光譜波段與Landsat衛星影像波段一致?
高光譜成像儀越來越受歡迎的主要原因:
1.????隨著科技發展,相機越來越普及,而且拍照速度越來越快;
2.????計算機可以提供足夠的計算能力來處理大量數據;
3.????結合現代的機器學習算法,科學家可以利用高光譜數據準確識別材料,甚至那些看起來非常相似的材料。
基于不同的材料具有不同的反射光譜這個事實,使得這項技術具有很強的實用性,在研究和工業應用中發展迅速。
?
高光譜成像技術的應用:
農業應用
農業方面,不同植物有不同的光譜,相同植物在不同條件下光譜也有差異。例如,高光譜數據可以用來提醒農民作物脅迫或有害雜草的早期跡象,也可以確定成熟度。高光譜成像技術在精準農業和環境監測方面的應用越來越多,相信在不久的將來,會有質的飛躍。
確定光譜特征和植物生理特征參數的準確關系是全球性研究的一部分,這使定點使用除草劑、農藥和化肥成為可能。這種作物管理技術會讓農民有針對性的定量使用化肥,節省成本,并獲取更大收益。因此,高光譜技術獲得了強有力的體制支撐,尤其是將食品供應和環境保護作為核心問題的亞洲。??
工業應用
相比于野外農田和森林,工廠的環境更好控制,因此,高光譜成像在工業分類中的應用越來越廣泛。傳統的視覺系統很難對具有相似顏色或外觀的物體進行分類,如:很難辨別具有相似顏色的果實、蔬菜或與組成其可見顏色無關的材料(如再生塑料)。當標準視覺系統分類失敗時,這些分類工作只能由人工來完成,價格高昂、速度慢、錯誤率高。
應用高光譜成像技術,不僅可以利用高光譜數據去分類相似顏色的材料,也可以獲取可見光范圍以外的信息,如紅外和紫外波段。實時的機器學習算法可以秒級處理數據并且傳遞這些信息至機器人手臂或空氣噴氣機等執行器上完成分類工作。?
軟件及算法
雖然相機的設計和制造在技術上具有挑戰性,但研發出可靠的用于工業分類的高光譜分析軟件是機遇,也是挑戰。由于深層機器學習知識伴隨在廣泛應用的簡單算法中,高光譜機器視覺軟件開發是一項令人興奮的科技領域。
光譜圖像數據分析的傳統方法是使用植被指數或光譜指數的概念,俗稱波段組合,這些指數是每個像元的指標,通過測量幾個指定波段的光譜強度,再由簡單代數組合計算得出。例如,最常見的植被指數(NDVI)即歸一化差分植被指數,最早用于多光譜遙感影像中,給定每個像素的全反射光譜,可以在每個像素中提取NDVI指數。
NIR是指紅外波段(750nm左右)反射率,Red指紅光波段(650nm)反射率,NDVI的值在-1.0—1.0之間。NDVI的大小是衡量植物健康狀況的重要指標。NDVI非常適用于早前的多光譜相機,如Landsat衛星影像,每個像素點記錄4個光譜通道(紅綠藍及近紅外)。
NDVI可以粗略估計植物健康狀況,機載高光譜成像傳感器問世后,涌現出許多更精確的新光譜指數,如測量植物葉綠素含量的指數,修改葉綠素吸收反射的指數(MCARI),
衡量植物花青素含量的指數,花青素反射指數ARI2:
圖3:與圖1相對應的修改葉綠素吸收反射指數MCARI分布圖?
圖3顯示了與圖1相對應的修改葉綠素吸收反射指數MCARI分布圖。途中高亮區域代表MCARI值高,意味著葉綠素活性高,黑暗區代表低值。?
這些指數最初是為農業和環境監測而開發的,現在已擴展到醫學、水質、生物和地質等多個領域。在醫學中,研究者會利用與水和氧有關的指數來確定手術過程中人體肌肉組織的特性。
雖然指數是有用的工具,但是它們只包含了整個連續波長曲線的小部分信息。高光譜數據攜帶的信息要遠多于幾個波段的信息,并且可以根據要求誕生出不同的光譜指數。這意味著整個波段的統計方法會產生更可靠的分類效果,這也是先進的視覺應用程序所使用的方法。
機器視覺算法通過統計方法,利用整個光譜進行更精準的植物或材料的分類,如:支持向量機(SVM)和神經網絡?(CNN),在高光譜分類中取得了顯著的成績。特別是結合了空間識別算法后,高光譜機器視覺可以作為計算機敏銳的眼睛,廣泛應用于食品、材料、顏料、圖案、涂層、缺陷和污染物等識別工作。
前途一片光明
盡管高光譜成像技術仍處于起步階段,但是相對于傳統成像系統來說,可以提供更豐富的數據,這是它的明顯優勢。更值得一提的是,該技術的數據采集、處理速度和計算復雜度,已經被許多實際應用所克服。隨著高光譜成像技術的不斷改進,用戶將逐漸認識到高光譜成像技術的能力,該技術將在更大尺度上幫助用戶解決之前難以攻克的問題,高光譜成像技術將會大放異彩。