計算成像系統架起了硬件和圖像重建間的橋梁,讓很多復雜的光學成像系統包括斷層掃描、超分辨和相位成像等,都在計算成像的助力下得以通過對商業顯微鏡和計算重建的簡單改造而實現。傳統的方法要求用大量的測量來保證檢測質量,但對于活細胞成像來說測量的次數則受到了細胞運動的限制,人們自然想知道什么樣的測量方式是最為有效的?在最新發表的論文中,來自伯克利的研究人員利用深度學習的方法得到了一種能夠最大化非線性計算成像系統的實驗設計。
左圖和中圖為顯微鏡硬件附加了LED照明陣列,右圖為LED的照明模式(工作頻率100Hz)
如何設計更有效的成像方法?
標準的顯微鏡通過觀察樣本的吸收對比度來實現成像,但大多數生物細胞的組織吸收都很弱。雖然染料和色素可以提高對比度,但卻會對活細胞長生不良影響。計算成像使得利用其它光學特性來獲得強對比成像和定量測量成為可能(例如相位/折射率變化)
左邊是顯微鏡觀測細胞的吸收圖像,右邊是通過計算成像得到的細胞相位圖像
同時可將顯微鏡的照相光源替換為可編程的LED陣列,在不同LED照明模式下的成像將會把樣本的相位信息(空間譜)編碼成強度信息來測量。在多次測量后(10~100)可利用這些信息定量地求解逆問題來重建樣本的相位,并很有可能超過顯微鏡原有的分辨率,或者得到三維的信息。
但由于需要多次測量,需要權衡樣本的重現質量與時間分辨率。當樣本移動時,時間分辨率不足帶來的模糊會造成成像質量下降。為了解決這一問題,研究人員們需要尋找如何在更少的測量下獲得高精度的重建,從而改善成像的時間分辨率。但什么是LED陣列最好的照明模式?如何得到對信息最高效的編碼方式呢?
上圖是不同的照明模式下的測量結果,下部是用于圖像重建正則化的逆問題。
為LED陣列設計照明模式是復雜的問題,很多計算成像系統都會在硬件編碼信息和重建時引入非線性。傳統的設計理論幾乎都將這一過程視為了線性系統,但這樣的假設卻無法提高非線性系統的測量質量。
研究人員們從新的角度來思考了目前面臨的問題,提出了基于物理的學習設計,通過學習來獲得能夠最大化系統性能的實驗設計。在給定系統模型、計算重建和數據集的前提下學習出最佳系統配置來最大化系統性能。在這一系統中,LED照明陣列顯微鏡作為待優化的硬件,而正則化的相位恢復作為計算重建目標。由于包含了眾多的非線性過程使得傳統方法難以設計。
為了闡述本文的方法,研究人員利用小的仿真數據集來為量化相位成像系統學習出了優秀的實驗設計,結果表明這種方法在使用小部分測量的情況下得到重建質量達到了更復雜方法所重建的水平。
優化實驗設計和相位恢復
實驗設計優化的目標在于最小化無偏估計器的方差(MSE)或者最大化信息。通常的方法基于方差統計信息的實值部分(行列式、跡)來進行優化,但這種方法只能對線性無偏估計器進行優化,但卻無法充分優化非線性估計器。在本研究中,研究人員希望通過解正則化相位恢復問題來估計相位圖像(非線性+有偏估計)。
具體來說就是希望通過最小化數據量D和先驗p(稀疏性、總方差等)來從幾次非線性測量y中得到樣本的光學參數x
損失函數可以利用基于梯度下降法的優化算法迭代優化,研究人員選擇了加速近端梯度下降法(accelerated proximal gradient descent):
其中x為當前估計,μ為加速項,w、z為中間變量,N為迭代次數。綠色為梯度更新、粉色為最鄰近更新、橘色為加速更新。
基于物理的神經網絡
本實驗的目標是為非線性的計算成像系統學習出實驗設計(如何最好的編碼信息),但在傳統方法不湊效的情況下,研究人員考慮將上述算法的迭代優化過程展開成神經網絡,并將網絡的每一層視為優化器的一個迭代過程。在每一個內包含了梯度優化、最鄰近更新和加速更新過程如下圖所示?;诖嗽O計的網絡結合了非線性成像過程和重建的先驗信息。
基于物理展開的神經網絡,輸入多個相機測量結果C,輸出重建相位圖像x,并與基準x’比較得到損失。每一層神經元對應著一個優化迭代步驟。
值得一提的是近年來將圖像重建中的迭代過程進行流程化展開已經出現了很多值得注意的工作。
基于物理過程學習的設計
在這一實驗中,需要學習的是如何調制LED的照明方式來最小化重建誤差,那么這一實驗設計問題可以被轉換為監督學習問題:
其中L2為相位圖像的重建誤差。為LED的照明集,即T個LED的M次照明模式集合。這些變量約束了算法生成解決方案在硬件上的可行性。由于神經網絡需要學習的參數很少,這個網絡可以在很小的數據集(100個樣本)上高效的運行!研究中使用了投影梯度下降法來最小化損失。
實驗驗證
在實驗中,研究人員利用了100個細胞樣本來作為數據集(其中10個用于測試),最終結果表明只需要兩次測試就可以學習到實驗設計中的參數。在下圖中研究人員比較了利用學習方法和傳統方法構建出的相位圖。在極少量測量(2次)下可以得到與多次測量的驗證方法(69次)相比米的結果。而傳統方法在相同測量條件下質量已經大幅下降了。
小鼠顯微細胞的重建結果,實驗顯示利用基于學習的方法在僅僅兩次測量下就得到了與多次測量相比擬的結果。
結論
這一工作探索了利用深度學習來優化非線性成像系統的可行性。研究人員利用監督學習和基于物理過程展開的神經網絡。在未來研究人員還將探索更為復雜的系統和測量手段,結構化的方法來學習重建過程中的各個部分。這種方法啟發實驗設計的方法、特別是測量方法的設計,有希望大幅提高測量設備的時間和空間分辨率。
-
神經網絡
+關注
關注
42文章
4771瀏覽量
100721 -
成像系統
+關注
關注
2文章
195瀏覽量
13925 -
深度學習
+關注
關注
73文章
5500瀏覽量
121118
原文標題:伯克利研究人員“教會”顯微鏡如何更好的成像
文章出處:【微信號:thejiangmen,微信公眾號:將門創投】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論