糖度是衡量蘋果品質(zhì)的關(guān)鍵指標(biāo)。高光譜成像(由于含有豐富的圖譜信息在糖度無(wú)損檢測(cè)中有著廣泛的應(yīng)用前景。光譜超分辨率(SSR)可通過(guò)建立映射關(guān)系從低光譜維度RGB圖像獲得對(duì)應(yīng)高光譜維度HSI圖像，在HSI圖像的高效獲取上有著極大的優(yōu)勢(shì)。

蘋果風(fēng)味獨(dú)特，清脆可口，深受全世界消費(fèi)者的廣泛喜愛(ài)。糖度是衡量蘋果品質(zhì)的關(guān)鍵指標(biāo)。高光譜成像(HSI)由于含有豐富的圖譜信息在糖度無(wú)損檢測(cè)中有著廣泛的應(yīng)用前景,然而仍面臨儀器笨重昂貴、操作耗時(shí)等問(wèn)題。光譜超分辨率(SSR)可通過(guò)建立映射關(guān)系從低光譜維度RGB圖像獲得對(duì)應(yīng)高光譜維度HSI圖像，在HSI圖像的高效獲取上有著極大的優(yōu)勢(shì)。

01實(shí)驗(yàn)部分

HSI圖像采集系統(tǒng)由高光譜相機(jī)、RGB相機(jī)、照明光源、升降臺(tái)、果托和計(jì)算機(jī)組成，如圖1所示。為避免外部雜散光線的干擾，所有設(shè)備均放置于暗箱內(nèi)部(計(jì)算機(jī)除外)。

圖1 圖像采集系統(tǒng)

1.1SSR 方法

基于密集連接的SSR方法

在基于卷積神經(jīng)網(wǎng)絡(luò)光譜下采樣投影恢復(fù)高光譜圖像算法基礎(chǔ)之上，提出了基于密集連接的SSR方法HSCNN-D，在特征提取時(shí)利用卷積層替換了頻譜上采樣操作，由此避免了對(duì)未知光譜響應(yīng)函數(shù)的依賴。在特征映射的過(guò)程中，利用路徑加寬的融合方案，使用了密集連接塊代替了殘差塊，緩解了殘差網(wǎng)絡(luò)增加網(wǎng)絡(luò)深度帶來(lái)的梯度消失的問(wèn)題。最后經(jīng)過(guò)卷積層融合已處理的特征完成SSR。雖然該方法能夠更適當(dāng)?shù)貙W(xué)習(xí)映射關(guān)系，但是在圖像空間分辨率特征的應(yīng)用仍然不足。

基于多尺度層級(jí)回歸網(wǎng)絡(luò)的SSR方法

基于多尺度層級(jí)回歸網(wǎng)絡(luò)的SSR方法通過(guò)并行多分支網(wǎng)絡(luò)提取不同尺度下的特征，然后融合相應(yīng)特征得到最終特征。基于層級(jí)回歸網(wǎng)絡(luò)算法為層間交互的四級(jí)回歸網(wǎng)絡(luò)。首先利用PixelUn-Shuffle層對(duì)輸入圖像進(jìn)行空間下采樣,使圖像空間分辨率降低。根據(jù)分辨率的高低分別從上至下作為層級(jí)輸入。下層低分辨率圖像依次經(jīng)過(guò)卷積層、殘差密集塊和殘差全局塊提取出特征，再利用PixelShuffle層對(duì)特征圖完成上采樣，然后與上層高分辨率圖像特征拼接，再完成當(dāng)層的特征提取。由于特征在底層較為緊湊，需要在上采樣前利用卷積層進(jìn)行通道加權(quán)，加強(qiáng)映射。殘差密集塊連接方法，有助于去除噪聲和減少偽影。殘差全局塊的應(yīng)用使得從輸入端跳過(guò)連接通過(guò)注意力機(jī)制來(lái)擴(kuò)大感受野。雖然基于多尺度層級(jí)回歸網(wǎng)絡(luò)的SSR方法能夠提取不同尺度下的特征，但是會(huì)造成運(yùn)算量過(guò)大的問(wèn)題。

基于Transformer的SSR方法

多級(jí)光譜Transformer算法為基于Transfommer的SSR方法，將每一個(gè)光譜通道的特征圖輸人光譜多頭注意力層進(jìn)行計(jì)算響應(yīng)值。光譜注意塊由光譜多頭注意力層和前饋網(wǎng)絡(luò)組成。通過(guò)在光譜多頭注意力層和前饋網(wǎng)絡(luò)組成前面添加歸一化層可以緩解梯度消失的問(wèn)題，加快網(wǎng)絡(luò)的收斂。然后，利用形網(wǎng)絡(luò)結(jié)構(gòu)將光譜注意塊構(gòu)建了一個(gè)單級(jí)光譜轉(zhuǎn)換器，由此更好地提取上下文信息。最后，MST十十將由多個(gè)單級(jí)光譜轉(zhuǎn)換器級(jí)聯(lián)，從粗糙到精細(xì)逐步提高SSR質(zhì)量。基于Trans-former的SSR方法具有優(yōu)異的長(zhǎng)距離依賴關(guān)系和全局信息捕捉能力。

1.2糖度回歸分析方法

有效波長(zhǎng)光譜提取

建立蘋果糖度預(yù)測(cè)模型時(shí)，原始數(shù)據(jù)的全光譜波段數(shù)多并且波段間相關(guān)性高，將全光譜輸入模型將導(dǎo)致計(jì)算時(shí)間長(zhǎng)以及預(yù)測(cè)精度較低。通過(guò)有效波長(zhǎng)光譜的提取可以減少大量的冗余信息和噪聲，提高建模的準(zhǔn)確性和穩(wěn)定性。有效波長(zhǎng)提取采用競(jìng)爭(zhēng)性自適應(yīng)重加權(quán),將篩選后的有效波長(zhǎng)光譜作為模型輸入。

回歸建模方法

偏最小二乘回歸被廣泛應(yīng)用于化學(xué)計(jì)量學(xué)和光譜定量分析。該方法結(jié)合主成分分析、典型關(guān)聯(lián)分析和多元線性回歸三種方法，有效地解決多重相關(guān)性問(wèn)題。利用樣本的光譜數(shù)據(jù)作為自變量以及測(cè)量參考值作為因變量完成回歸模型建立。

隨機(jī)森林是一種機(jī)器學(xué)習(xí)的統(tǒng)計(jì)方法，通常應(yīng)用于處理高維度數(shù)據(jù)。該方法基于決策樹(shù)的集成算法，首先對(duì)原始樣本隨機(jī)選擇樣本子集，然后在不同的樣本子集上訓(xùn)練每個(gè)決策樹(shù)，最后對(duì)預(yù)測(cè)取平均以進(jìn)行整體預(yù)測(cè)。

極限學(xué)習(xí)機(jī)是一種單隱層前饋神經(jīng)網(wǎng)絡(luò)，具有速度快和參數(shù)調(diào)整簡(jiǎn)單的特點(diǎn)。該方法可以隨機(jī)初始化輸入權(quán)重和偏移量并利用廣義逆得到相應(yīng)的輸出權(quán)重。在進(jìn)行回歸預(yù)測(cè)時(shí)，需設(shè)置隱層節(jié)點(diǎn)數(shù)，從而得到唯一最優(yōu)解。

02圖像處理

顏料樣本

采集圖像前，對(duì)實(shí)驗(yàn)樣本張貼黑色啞光2x2方格膠紙啞光材質(zhì)可以減少反光。通過(guò)人工標(biāo)定確定ROI，不僅可以增加樣本量而且可以減少ROI配準(zhǔn)。采集圖像后，首先對(duì)原始RGB圖像以及HSI偽RGB圖像進(jìn)行閾值化處理得到一值圖像，其中偽RGB圖像為從HSI圖像中抽取三個(gè)波段(468、530以及703nm)進(jìn)行合成的圖像。然后采用二值圖像掩膜至原始圖像確定ROI質(zhì)心，最后根據(jù)質(zhì)心位置完成ROI框選并完成裁剪，得到樣本圖像。為避免裁剪ROI區(qū)域內(nèi)存在黑色區(qū)域，保證裁剪后圖像尺寸均為64x64.圖2為ROI裁剪的過(guò)程。經(jīng)過(guò)圖像處理后，共生成220個(gè)RGB-HSI圖像對(duì)作為訓(xùn)練模型的輸入。

圖2ROI裁剪過(guò)程

圖3CARS提取的有效波長(zhǎng)光譜分布圖

表1CARS 提取的有效波長(zhǎng)

表2利用提取有效波長(zhǎng)糖度回歸結(jié)果

03實(shí)驗(yàn)結(jié)論

結(jié)果表明，相比于全光譜，采用有效波長(zhǎng)可以提升糖度預(yù)測(cè)的準(zhǔn)確程度。本工作基于圖像SSR完成了蘋果糖度的準(zhǔn)確檢測(cè)，提供了經(jīng)濟(jì)高效的HSI圖像獲取方式。實(shí)現(xiàn)了快速便捷的新型糖度檢測(cè)，可以提高檢測(cè)的準(zhǔn)確性和穩(wěn)定性，在蘋果產(chǎn)業(yè)自動(dòng)化分選和智能化質(zhì)檢具有重要的實(shí)踐意義和推廣價(jià)值。

推薦

便攜式高光譜成像

專門用于公安刑偵、物證鑒定、醫(yī)學(xué)醫(yī)療、精準(zhǔn)農(nóng)業(yè)、礦物地質(zhì)勘探等領(lǐng)域的最新產(chǎn)品，主要優(yōu)勢(shì)具有體積小、幀率高、高光譜分辨率高、高像質(zhì)等性價(jià)比特點(diǎn)采用了透射光柵內(nèi)推掃原理高光譜成像，系統(tǒng)集成高性能數(shù)據(jù)采集與分析處理系統(tǒng)，高速USB3.0接口傳輸，全靶面高成像質(zhì)量光學(xué)設(shè)計(jì)，物鏡接口為標(biāo)準(zhǔn)C-Mount，可根據(jù)用戶需求更換物鏡。

審核編輯 黃宇