外科手術(shù)在過(guò)去的幾十年里有著巨大的蛻變，其中特別令人感興趣的進(jìn)展是顯微外科（microsurgery）的出現(xiàn)。由于使用外科手術(shù)顯微鏡可以放大手術(shù)區(qū)域并實(shí)現(xiàn)更高的精度，這一進(jìn)展尤其有意義。將顯微外科技術(shù)與新型相機(jī)相結(jié)合，使其真正地“讓看不見(jiàn)的東西變得可見(jiàn)”。

這種方法必將為醫(yī)療帶來(lái)革命性變化。想象一下，外科醫(yī)生能夠在分子水平上根據(jù)有關(guān)組織化學(xué)成分的實(shí)時(shí)信息做出決策，“看到”流經(jīng)動(dòng)脈和血管的血液氧合情況，或者在人體內(nèi)（活體組織中）區(qū)分健康組織與異常組織（例如腫瘤細(xì)胞）。這是一個(gè)比人們所想象的更接近未來(lái)的憧憬。一個(gè)重要的驅(qū)動(dòng)因素是當(dāng)前醫(yī)療實(shí)踐恰好與光譜成像技術(shù)的發(fā)展相匹配。

在外科手術(shù)中使用高光譜相機(jī)的想法并不新鮮。關(guān)于這一主題的許多研究已經(jīng)進(jìn)行，但一些問(wèn)題的存在阻礙了該技術(shù)融入醫(yī)院的日常工作流程。

高光譜成像（HSI）解決方案的外形尺寸因素就是一項(xiàng)重要障礙。它們通常體積龐大，因此與手術(shù)室已經(jīng)擁擠不堪的無(wú)菌區(qū)域不兼容。高光譜成像的另一個(gè)限制是缺乏可以獲取實(shí)時(shí)數(shù)據(jù)的視頻速率高光譜相機(jī)，這對(duì)于捕捉外科手術(shù)場(chǎng)景中的運(yùn)動(dòng)和動(dòng)態(tài)至關(guān)重要。imec研究機(jī)構(gòu)及一些企業(yè)需要對(duì)此需求做出響應(yīng)。

imec片上光譜成像活動(dòng)的項(xiàng)目經(jīng)理Wouter Charle表示，緊湊型高光譜成像相機(jī)一旦集成到嚴(yán)格的臨床工作流程中，就會(huì)具有巨大的潛力。

據(jù)麥姆斯咨詢(xún)報(bào)道，與構(gòu)建高光譜相機(jī)的傳統(tǒng)方法不同，imec并沒(méi)有在鏡頭與圖像傳感器之間使用精密光學(xué)元件來(lái)過(guò)濾和衍射光線。相反，imec利用了直接沉積在圖像傳感器上的薄膜光譜濾波器。這意味著imec可以打造穩(wěn)定且緊湊的高光譜成像解決方案，非常類(lèi)似于標(biāo)準(zhǔn)機(jī)器視覺(jué)芯片和相機(jī)。由于這種技術(shù)建立在與制造IC芯片相同的晶圓級(jí)CMOS工藝之上，因此其可大規(guī)模制造、兼具成本效益，并且能夠根據(jù)特定的客戶(hù)和應(yīng)用需求實(shí)現(xiàn)高度定制化。

imec在高光譜成像研究和原型開(kāi)發(fā)領(lǐng)域擁有著豐富的經(jīng)驗(yàn)，根據(jù)光譜濾波器的圖案種類(lèi)，其產(chǎn)品組合主要有兩種類(lèi)型。一種類(lèi)型：每行像素頂部是條紋圖案，可以實(shí)現(xiàn)高分辨率的高光譜成像，該類(lèi)型產(chǎn)品與經(jīng)典的線陣掃描相機(jī)相當(dāng)，但具備更緊湊、更快速、更易操作等特點(diǎn)，其構(gòu)成了imec的“snapscan”系列高光譜傳感器。

另一種類(lèi)型：在3x3像素、4x4像素或5x5像素頂部是馬賽克圖案，成像的分辨率稍低，但即使在運(yùn)動(dòng)中也能夠?qū)崿F(xiàn)用于實(shí)時(shí)數(shù)據(jù)采集的視頻速率光譜成像。這種被稱(chēng)為“snapshot”的高光譜傳感器有多種款式。每種款式都涵蓋了特定的光譜分辨率和范圍——從可見(jiàn)光（VIS）、近紅外（NIR）到短波紅外（SWIR）。

圖為各種imec高光譜傳感器，光譜濾波器以條紋圖案或馬賽克圖案直接沉積在圖像傳感器之上。

案例研究：利用高光譜成像在人體內(nèi)鑒定低級(jí)別膠質(zhì)瘤

低級(jí)別膠質(zhì)瘤是各類(lèi)生長(zhǎng)緩慢的腦腫瘤，通常發(fā)病于年輕健康的患者身上。雖然通常情況是良性的，但研究表明，低級(jí)別膠質(zhì)瘤每年可增長(zhǎng)4mm至5mm，并有惡變風(fēng)險(xiǎn)。因此，早期外科手術(shù)切除是一種最受青睞的治療選擇——盡管即使有外科手術(shù)顯微鏡的幫助，在人體內(nèi)檢測(cè)低級(jí)別膠質(zhì)瘤并確定其精確邊界也是極其困難的。

為外科醫(yī)生提供合適的工具在人體內(nèi)檢測(cè)這些腫瘤將是一個(gè)重要突破。正如imec的snapscan VNIR 150高光譜相機(jī)最近的研究項(xiàng)目所證明的那樣，高光譜成像技術(shù)顯示出了實(shí)現(xiàn)這一目標(biāo)的潛力。

由于其小巧的外形尺寸以及與標(biāo)準(zhǔn)C接口光學(xué)元件的兼容性，imec的snapscan系列產(chǎn)品可以輕松安裝于標(biāo)準(zhǔn)外科手術(shù)顯微鏡。

由于其小巧的外形尺寸（10cm x 7cm x 6.5cm，重645g），并與標(biāo)準(zhǔn)C接口光學(xué)元件的兼容性，imec的snapscan系列產(chǎn)品可以輕松安裝于標(biāo)準(zhǔn)外科手術(shù)顯微鏡。與以往研究中使用的體積龐大的系統(tǒng)大相徑庭，該產(chǎn)品為緊湊型，能夠順利地納入醫(yī)院嚴(yán)格的臨床工作流程中。

更重要的是，該設(shè)備能夠生成準(zhǔn)確的臨床數(shù)據(jù)，這些數(shù)據(jù)可以輸入深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。這樣就能夠?qū)?shù)據(jù)轉(zhuǎn)化為可操作的知識(shí)，使外科醫(yī)生能夠區(qū)分健康組織和異常組織。因此，這是適應(yīng)體內(nèi)檢測(cè)腦腫瘤（例如低級(jí)別膠質(zhì)瘤）的重要第一步。

雖然術(shù)中使用該設(shè)備尚不成熟，但迄今為止，該方法已通過(guò)比利時(shí)魯汶大學(xué)醫(yī)學(xué)中心（Belgium’s Leuven University Hospital）6名患者的臨床數(shù)據(jù)集進(jìn)行了驗(yàn)證。imec旨在通過(guò)集成其snapshot技術(shù)來(lái)進(jìn)一步推進(jìn)該項(xiàng)目，該技術(shù)適用于視頻速率光譜成像。這將使研究人員能夠在外科手術(shù)實(shí)踐中探索低級(jí)別膠質(zhì)瘤的實(shí)時(shí)檢測(cè)。

讓高光譜成像技術(shù)實(shí)驗(yàn)更容易

越來(lái)越多的廠商正在研究“如何利用高光譜成像技術(shù)增強(qiáng)其產(chǎn)品和/或服務(wù)，或者如何在（外科手術(shù)）實(shí)踐中使用該技術(shù)”。對(duì)于一些廠商來(lái)說(shuō)，從一開(kāi)始就很明確最適合其需求的光譜范圍。然而，對(duì)于另一些廠商來(lái)說(shuō)，合適的光譜范圍需要通過(guò)測(cè)試多種相機(jī)選項(xiàng)來(lái)確認(rèn)。雖然有多種相機(jī)選項(xiàng)可供使用，但將其數(shù)據(jù)融合到一個(gè)數(shù)據(jù)集中并從中得出結(jié)論，是一項(xiàng)公認(rèn)的挑戰(zhàn)。

這就是imec最近通過(guò)多傳感器系統(tǒng)擴(kuò)充了其snapshot產(chǎn)品組合的原因，該系統(tǒng)涵蓋可見(jiàn)光和近紅外光譜，并輔以高分辨率RGB圖像傳感器。該系列產(chǎn)品專(zhuān)門(mén)針對(duì)從事高光譜成像應(yīng)用開(kāi)發(fā)的企業(yè)和研究團(tuán)隊(duì)。

imec的新型高光譜相機(jī)搭載三顆集成于一個(gè)外殼中的傳感器，并配備了標(biāo)準(zhǔn)F接口鏡頭。該高光譜相機(jī)將允許合作伙伴靈活地評(píng)估不同光譜分辨率和范圍的優(yōu)缺點(diǎn)，而無(wú)需投入大量的設(shè)備或重復(fù)實(shí)驗(yàn)。

全球首款涵蓋可見(jiàn)光和近紅外光譜的高光譜相機(jī)，輔以高分辨率RGB成像，可用于視頻速率下的數(shù)據(jù)采集。

在相機(jī)內(nèi)部，光線被引導(dǎo)至三個(gè)通道。其中兩個(gè)通道配備了imec現(xiàn)成的200萬(wàn)像素高光譜傳感器，覆蓋可見(jiàn)光和近紅外光譜范圍。第三個(gè)通道配備了高分辨率RGB圖像傳感器。因此，該相機(jī)覆蓋了460nm至870nm范圍內(nèi)的30個(gè)波段，并輔以500萬(wàn)像素的真彩色圖像。相機(jī)內(nèi)的三個(gè)通道均能以視頻速率同步工作，以實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)采集（即使面對(duì)動(dòng)態(tài)場(chǎng)景）。

這款新相機(jī)特別適合涉及不可控動(dòng)態(tài)場(chǎng)景的用例，例如輔助（微）外科手術(shù)、環(huán)境監(jiān)測(cè)、異常檢測(cè)、汽車(chē)視覺(jué)、精準(zhǔn)農(nóng)業(yè)和農(nóng)作物檢查等。

到目前為止，潛在的復(fù)雜性阻礙了該行業(yè)構(gòu)建功能齊全的多傳感器高光譜相機(jī)。imec認(rèn)為這是其專(zhuān)業(yè)知識(shí)最有價(jià)值的地方：探索并原型化所需組件，幫助業(yè)界克服所有相關(guān)障礙。這款相機(jī)系統(tǒng)憑借其靈活性和附帶軟件，使得高光譜成像技術(shù)試驗(yàn)從未如此容易。該特點(diǎn)可以讓那些仍在考慮哪種傳感器最適合其需求的合作伙伴專(zhuān)注于其核心業(yè)務(wù)，即應(yīng)用發(fā)現(xiàn)和開(kāi)發(fā)。

作為下一步發(fā)展目標(biāo)，imec計(jì)劃與相機(jī)制造商和系統(tǒng)廠商分享其經(jīng)驗(yàn)和完整開(kāi)發(fā)套件，以支持高光譜成像系統(tǒng)的進(jìn)一步商業(yè)化。

審核編輯 ：李倩