Google《Cell》論文：光學顯微鏡結合深度學習，成就螢光顯微鏡應用

在生物和醫學領域，研究員常運用顯微鏡來觀察肉眼無法獲得的細胞細節訊息。雖然運用透射光顯微鏡（對生物樣本單側照射生成像），觀察起來相對簡單且活體培養樣本具良好耐受性，但生成的圖像難以正確評估。螢光顯微技術中會用螢光分子染色需要觀察的目標（比如細胞核），能簡化分析過程，但仍需要複雜的樣品製備。隨著包括圖像質量自動評估算法和協助病理醫師診斷癌組織等機器學習技術，在顯微鏡領域的應用越來越廣泛，Google 因此考慮是否可結合透射光顯微鏡和螢光顯微鏡這兩種顯微鏡技術開發一種深度學習系統，進而最大限度降低兩者的不足之處。

4 月 12 日，Google 發表了結合透射光顯微鏡和螢光顯微鏡這兩種顯微鏡技術，並利用深度學習標記顯微鏡細胞圖像為分色螢光的研究論文，研究內容編譯如下。

4 月 12 日出版的《Cell》雜誌刊登了 Google 的論文《In Silico Labeling: Predicting Fluorescent Labels in Unlabeled Images》，展示了深層神經網路能通過透視光圖像來預測螢光圖像，無需修改細胞就可以生成有標籤、有用的圖像，這將使長期追踪分析未修改的細胞、在細胞治療時最大程度減少侵入性細胞檢查、同時運用大量標籤分析成為可能。對於這項研究，Google 開源了網路設計、完整的訓練數據和測試數據、經過訓練後的模型檢查點及範例代碼。

研究背景

透射光顯微鏡技術雖然易用，但也會生成難以分辨的圖像。例如，下圖就是一張相襯顯微鏡得到的圖像，其中像素顏色深度表示光線穿過樣本時相位變化的程度。

▲ 上圖均為自多功能幹細胞的人體運動神經元培養物在透射光顯微鏡下（運用相位對比法）觀察到的圖像。圖 1：可能為神經元細胞。圖 2：觀察圖像的缺陷致掩蓋了下方的細胞。圖 3：神經突圖像。圖 4：可能為死亡細胞。比例尺：40μm。上述圖像及數字均來自斯通研究所的 Finkbeiner 實驗室。

在上圖中，很難分辨出圖 1 的細胞群單元數量，或者圖 4 細胞的位置和狀態（提示：上部中間位置有一個幾乎不可見的扁平細胞）。同時也很難始終讓精細結構保持在對焦範圍內，比如圖 3 的神經樹突。

我們可以透過採集不同 z 高度的圖像來獲取透射光顯微鏡下更多訊息：一組關於（x，y）位置的圖像，控制其中的 z（距離攝影機的距離）系統地變化。這導致細胞的不同部分對焦或脫焦，進而提供樣本細胞的 3D 結構訊息。不幸的是，通常只有有經驗的分析人員才能看懂這不同高度的圖像，如何分析這種不同高度圖像，也是自動化分析過程的巨大挑戰。下面即為一個 z 堆棧範例圖。

▲ 相同細胞的相位對比 z 堆棧。需要注意，當焦點轉移時細胞外觀將發生如何變化。我們現在可以觀察到圖 1 右下角的模糊形狀是一個單一橢圓形單元，圖 4 最右細胞要比最上面的細胞高，這可能表明它已經歷了細胞程序性死亡。

相比上圖的透視光圖像，下方用螢光顯微鏡觀察到的圖像就容易分析多了，因為研究人員將想觀察的內容用螢光精心標記。例如，大多數人類細胞只有一個細胞核，因此可以標記細胞核（如下圖藍色標記），這也使利用簡單工具統計圖像中的細胞數量成為可能。

▲ 同一細胞在螢光顯微鏡下的圖像。藍色螢光標記 DNA 以突出細胞核。綠色螢光標記僅存在樹突中的一種神經子結構蛋白質。紅色螢光標記僅存在軸突中另一種神經子結構的蛋白質。分色螢光標記幫助研究人員更容易了解樣本。例如，通過圖 1 綠色和紅光螢光標記，可確認這是一個神經群集。圖 3 的紅色螢光標籤代表軸突而非樹突。圖 4 左上角藍色的螢光標記揭示之前透過光透視顯微鏡難以觀察到的細胞核，而左側的細胞缺乏藍色螢光標記，因此為無 DNA 的細胞碎片。

同時，螢光顯微鏡也有明顯硬傷。首先，樣本的製備和螢光標記本身就帶來複雜性和可變性。其次，當樣本有許多且不同的螢光標記時，光譜的重疊會導致難以分辨哪種顏色對應哪種標記。所以通常會限制研究人員在同一樣本最多使用三或四個標記，以免混淆。第三，螢光標記可能對樣本細胞產生毒性，有時還會致其死亡，這個缺陷也使螢光標記在需要長時間觀察細胞的縱向研究中難以實施。

與深度學習同行，看到更多可能

Google 這篇論文，作者展示了深度神經網路可根據透射光 z 堆棧來預測其分色螢光圖像。為此，我們創建了投射光 z 堆棧與分色螢光圖像匹配的數據集，並訓練神經網路根據投射光 z 堆棧來預測其分色螢光圖像。下面就是訓練過程的圖示介紹。

▲ 這是訓練系統的概述：（A）為訓練實例的數據集：同一樣本畫面裡 z 堆棧的透射光圖像和螢光標記圖像的像素匹配集。使用不同顏色螢光進行標記產生的螢光標記圖像，隨著不同訓練實例的切換而改變顏色變化；其中類似棋盤圖像因未給定實例而無螢光標記。未經訓練的深度網路（B）預測數據 A，訓練之後再預測數據 A 就變成了（C）。數據 A 的投射光 z 堆棧圖像（D）。（E）：利用訓練後的深度神經，根據 A 數據的每個新圖像像素訊息（D）來預測 A 數據的螢光標記（C）。

研究過程中，Google 由 Inception 的模組化設計獲得靈感，開發了一種由三種基本構建塊組成的新型神經網路：第一種，保持比例的模組配置，不會改變特徵的空間尺度大小；第二種，縮小比例的模組配置，會把空間比例縮放為 2 倍；第三種，放大比例，把空間比例縮放為一半。這使網路架構設計難題分成兩個更簡單的問題：構建塊（宏架構）的安排部分和構建塊本身（微架構）的設計部分。Google 使用本文前面討論的設計原則解決了第一個問題，第二個問題則利用 Google Hypertune 的自動搜索來達成。

為了保證本研究方法合理，Google 使用了 Alphabet 實驗室以及兩個外部合作夥伴的數據驗證模型：Gladstone 研究所 Steve Finkbeiner 實驗室和哈佛 Rubin 實驗室。這些數據涵蓋三種透射光成像模式（明場，相差和微分乾涉對比）和三種培養類型（來自誘導多功能幹細胞的人體運動神經元，大鼠皮質培養物和人體乳腺癌細胞）。Google 發現，該方法可準確預測包括細胞核，細胞類型（如神經）和細胞狀態（如細胞死亡）在內的幾種螢光標記。下圖顯示該模型輸入神經元範例的透射光後，得出的分色螢光標記預測結果。

輸入神經元範例的透射光：輸出螢光標記預測結果

▲ 範例圖顯示了投射光和螢光標記成像的相同細胞圖像，以及 Google 模型對其預測生成螢光標記。儘管輸入的圖像存在偽像（記號 2 圖像），但是模型依舊預測生成了正確的螢光標記。（記號 3 圖像）根據細胞之間的最近距離推測出這些為軸突。（記號 4 圖像）顯示了頂部難以發現的細胞，並將左側的物體正確地標記識別為無 DNA 細胞碎片。

自己親自動手試試吧！

Google 已開源了該模型、完整數據集、訓練、推理代碼以及一個範例。Google 還聲稱，只需借助最少的額外數據訓練就能生成新標註／標籤：在相關論文和範例代碼，Google 展示了根據單張圖像就可學會生成螢光標記。這要歸功於遷移學習：如果模型已可掌握類似任務，那麼就能更快學習新任務，並使用更少的訓練數據。

Google 希望在不修改細胞的情況下生成標記、有用的圖像，這也將為生物學和醫學研究開創全新的實驗類型。如果你希望在自己的研究嘗試這項技術，可以閱讀《In Silico Labeling: Predicting Fluorescent Labels in Unlabeled Images》論文，或前往 github 頁面查看模型代碼！