在生物學和醫學領域，研究人員通常利用顯微技術觀察肉眼無法看到的細胞和分子的細節。透射光顯微技術的原理是對生物樣本單側照射并生成圖像，操作相對簡單且活體培養樣本耐受度高，但通過這種方式生成的圖像難以正確評估。而熒光顯微技術可以使用熒光分子將需要觀察的生物目標（如細胞核）標上顏色，這種做法簡化了分析，但需要繁瑣的樣本制備。

隨著機器學習（包括用于自動評估圖像質量和協助病理學家診斷癌組織的算法）在顯微技術領域的應用日益增多，我們想知道是否可以開發一種能夠結合兩種顯微技術的優點，同時最大限度減少缺點的深度學習系統。

在 “In Silico Labeling:Predicting Fluorescent Labels in Unlabeled Images” 一文（今日刊登于《Cell》雜志）中，我們展示了一個新的深度神經網絡，這個網絡能夠通過透射光圖像預測熒光圖像，無需修改細胞就可以生成帶標記的有用圖像，從而允許對未修改的細胞作縱向研究、在細胞治療中實現微創細胞篩查，以及同時運用大量標記進行調查。我們也開源了網絡，并提供了完整的訓練與測試數據、訓練模型檢查點和示例代碼。

背景

透射光顯微技術操作簡單，但生成的圖像難以分辨。以下圖為例，這是通過相襯顯微鏡獲得的一個圖像，其中的像素強度表示光線穿過樣本時相位變化的程度。

利用誘導性多能干細胞培養的人體運動神經元的透射光（相襯顯微鏡）圖像。圖樣 1 顯示的是疑似神經元的一組細胞。圖樣 2 顯示圖像有缺損，底層細胞模糊不清。圖樣 3 顯示的是神經突。圖樣 4 顯示的內容疑似死細胞。比例尺：40 微米。這一組圖像和以下圖片均來自 Gladstone 研究所的Finkbeiner 實驗室。

在上圖中，很難判斷圖樣 1 的神經元簇中的細胞數量，也無法看出圖樣 4 中細胞的位置和狀態（提示：在中上方位置有一個非常不明顯的扁平細胞）。同時也很難始終讓精細結構保持在對焦范圍內，如圖樣 3 中的神經突。

我們可以通過在 z 堆棧中獲取圖像，利用透射光顯微技術獲得更多信息：在 (x, y) 中配準圖像，而z（與相機的距離）會系統地發生變化。這會使細胞的不同部分對焦或脫焦，從而提供樣本的 3D 結構信息。遺憾的是，通常只有有經驗的分析人員才能看懂 z 堆棧，而此類 z 堆棧的分析目前在很大程度上還無法實現自動化。下面是一個 z 堆棧示例。

相同細胞的相襯顯微鏡 z 堆棧。注意焦點移動時表象的相應變化。現在我們可以看出，圖樣 1 右下方的模糊形狀是單個橢圓形細胞，圖樣 4 中最右邊的細胞比最上面的細胞還要長，這表明它可能經歷了細胞程序性死亡。

在用熒光顯微技術觀察到的圖像中，研究人員用熒光對要觀察的內容進行了精心標記，因而，相比之下分析起來更加容易。例如，大多數人類細胞只有一個細胞核，因此可以進行細胞核標記（如下圖的藍色標記），這就使得利用簡單工具查找圖像中的細胞和統計細胞數量成為可能。

相同細胞的熒光顯微圖像。藍色熒光標記集中于 DNA，突出了細胞核。綠色熒光標記集中于僅存在于樹突（一種神經子結構）中的蛋白質。紅色熒光標記集中于僅存在于軸突（另一種神經子結構）中的蛋白質。通過這些標記，可以更輕松地了解樣本中發生的情況。例如，圖樣 1 中的綠色和紅色標記確認這是神經元簇。圖樣 3 中的紅色標記顯示神經突是軸突而不是樹突。圖樣 4 中左上方的藍點顯示出之前難以辨認的細胞核，而左側細胞缺失藍點，表明它是無 DNA 的細胞碎片。

不過，熒光顯微技術存在嚴重的缺陷。首先，樣本制備和熒光標記本身增加了復雜程度和變數。其次，如果樣本中存在許多不同的熒光標記，光譜重疊會使人很難分辨出哪一種顏色屬于哪個標記，因此，研究人員通常只能在一個樣本中同時使用 3 到 4 個標記。再次，熒光標記可能對細胞有害，有時還可能直接殺死細胞，這樣一來，在需要隨著時間推移跟蹤細胞的縱向研究中很難使用標記。

利用深度學習發現更多信息

在論文中，我們展示深度神經網絡可以根據透射光 z 堆棧預測熒光圖像。為此，我們創建了一個與熒光圖像匹配的透射光 z 堆棧數據集，并訓練了一個神經網絡來根據 z 堆棧預測熒光圖像。具體過程如下圖所示。

我們系統的概覽。(A) 訓練示例的數據集：z 堆棧的透射光圖像對與同一場景下像素配準的熒光圖像集。使用幾種不同的熒光標記生成熒光圖像，并且不同訓練示例中所用的標記也各不相同；棋盤格圖像表示沒有為給定示例獲取的熒光標記。(B) 未訓練的深度網絡使用數據 A 訓練 (C)。(D) 新場景下圖像的 z 堆棧。(E) 訓練的網絡 C 用于為新圖像 D 中的每個像素預測從 A 中學習的熒光標記。

在研究過程中，受到 Inception 模塊化設計的啟發，我們開發了一種新型神經網絡，此網絡由以下三種基本構建塊組成：in-scale 配置（不改變特征的空間縮放）、down-scale 配置（將空間縮放加倍）以及 up-scale 配置（將空間縮放減半）。這樣一來，網絡架構設計的難題分解為兩個簡單的問題：構建塊（宏架構）的安排以及構建塊本身（微架構）的設計。我們使用論文中討論的設計原則解決了第一個問題，第二個問題則通過由 Google Hypertune 提供支持的自動搜索加以解決。

為了確保方法的合理性，我們使用來自 Alphabet 實驗室以及兩個外部合作伙伴的數據對模型進行了驗證：Gladstone 研究所的 Steve Finkbeiner 實驗室和哈佛大學 Rubin 實驗室。這些數據包含了三種透射光成像模式（亮視野、相襯和微分干涉對比）和三種培養類型（來自誘導性多能干細胞的人體運動神經元、老鼠大腦皮層培養和人類乳腺癌細胞）。結果發現，我們的方法可以準確預測細胞核、細胞類型（例如神經細胞）和細胞狀態（例如細胞死亡）等的多個標記。下圖顯示了模型對透射光輸入的預測以及我們運動神經元示例的熒光實況。

動畫顯示了相同細胞的透射光和熒光成像以及我們的模型預測的熒光標記。根據圖樣 2 所示，盡管輸入圖像中存在偽像，模型依然正確預測了標記。在圖樣 3 中，模型可能基于過程與最近的細胞之間的距離推斷出這些過程是軸突。在圖樣 4 中，模型在頂部顯示出之前難以辨認的細胞，并將左側的物體正確識別為無 DNA 的細胞碎片。