醫療行業中的深度學習技術，主要從計算機視覺、自然語言處理、強化學習和通用方法這些方面入手。

本文從這些計算技術對關鍵醫療領域的影響，并探索了如何構建端到端系統。計算機視覺方面主要關注醫療成像，自然語言處理方面主要涉及電子健康檔案數據，強化學習方面主要討論機器人輔助手術，通用深度學習方法主要涉及基因組學。

深度學習是機器學習的子領域，由于算力和數據的增長，深度學習在過去 6 年中得到了巨大發展。該領域見證了機器理解和控制數據能力的顯著進展，包括圖像、語言和語音。醫療行業從深度學習中受益良多，因為該行業生成海量數據（光美國就有 150 艾字節（10^18 字節）的數據，每年增長 48%） ，醫療設備和數據記錄系統也在不斷增多。

機器學習與其它計算機編程類型不同，它使用從大量樣本中自動提取的統計、數據驅動規則將算法的輸入轉換成輸出（無需人類過多參與規則制定）。之前，構建機器學習系統需要利用領域專業知識和人類工程來設計特征提取器，將原始數據轉換成學習算法能夠從中檢測出模式的合適表征。而深度學習作為表征學習的一種形式，輸入原始數據后可以自行習得模式識別所需表征，它們由多層表征組成。這些層通常按順序排列，并包含大量粗糙的非線性運算，從而使一個層的表征 （最開始是原始數據輸入）輸入到下一個層，最終轉換成較抽象的表征。隨著數據在系統各層中傳播，輸入空間不斷變形，直到數據點可識別為止（見圖 1a）。用這種方式可以學得高度復雜的函數。

圖 1：深度學習。a. 一個簡單的多層深度神經網絡，輸入為兩個類別的數據（分別用不同顏色來標注），數據在各層中傳播時網絡不斷使其變形，從而使數據線性可分。最終輸出層作為分類器，輸出的是某個類別的概率。該示例介紹了大型網絡使用的基本概念。b. 接受多種數據類型輸入的大型網絡示例，數據類型包括圖像、時序數據等，網絡處理每種數據類型時在其低級塔（tower）中學習有用的特征。然后融合每個塔中的數據，輸入高層，使深度神經網絡對不同數據類型執行推斷，這種能力在醫療行業中的重要性與日俱增。

深度學習模型可擴展至大型數據集（部分原因在于它們可在專用計算硬件上運行），并繼續改進，提高在更多數據上的能力，這也使得深度學習模型優于很多經典機器學習方法。深度學習系統可以接受多種數據類型的輸入，異質醫療數據就具備這種屬性 （圖 1b）。使用監督學習方法訓練的模型最為常見，其數據集由輸入數據點（如皮膚病變圖像）和對應的輸出數據標簽（如良性或惡性） 組成。強化學習中的計算智能體通過試錯或專家演示來學習，在采用深度學習技術后，強化學習也取得了長足進步，在游戲等領域取得了突出成績（如圍棋）。在醫療領域，當學習需要醫生演示時，強化學習非常有用，例如機器人輔助手術中智能體學習給傷口縫合。

計算機視覺

深度學習的一些偉大成就出現在計算機視覺領域（CV）。CV 主要研究圖像和視頻理解，處理目標分類、檢測和分割等任務，這些在判斷病人射線照片中是否包含惡性腫瘤時非常有用。卷積神經網絡（CNN） 用來處理具備空間不變性的數據（如圖像，它們的意義不會發生改變），也因此成為該領域的重要技術。

拿醫療成像來說，它從圖像分類和目標檢測的近期進展中受益良多。很多研究在皮膚科、放射科、眼科、病理科的復雜診斷中取得了不錯的結果（見圖 2）。深度學習系統可以為醫生提供輔助意見，標注出圖像中有問題的區域。

圖 2：醫療成像。CNN 可以在多種醫療影像上訓練，包括放射科、病理科、皮膚科和眼科。信息從左到右傳播。輸入圖像饋入 CNN 后，網絡會使用卷積、池化、全連接層等簡單操作按順序將數據轉換成扁平向量。輸出向量的元素表示疾病出現的概率。在訓練過程中，網絡層的內部參數會迭代調整，以提高準確率。通常，較低的層（左）學習簡單的圖像特征——邊和基本的形狀，這對右側的高級表征有所影響。預測任務包括圖像分類（即惡性 vs 良性）和醫療特征定位（如腫瘤）。

使用 CNN 方法進行圖像級別的診斷已經很成功了。這很大程度上歸功于 CNN 在目標分類任務上可與人類媲美的性能。這些網絡在遷移學習中展現了強大的性能，CNN 最初在與目標任務無關的大型數據集（如 ImageNet） 上進行訓練，然后在目標任務相關的較小數據集（如醫療影像）上進行微調。第一步，算法利用大量數據學習圖像中的自然統計數據，如直線、曲線、顏色等。第二步，重新訓練算法的高級層來對診斷病例進行辨別。類似地，目標檢測和分割算法可識別圖像中與特定目標對應的部分。CNN 方法使用圖像數據作為輸入，然后輸入經過多次卷積和非線性操作進行迭代變化，直到原始數據矩陣被轉換成潛在圖像類別的概率分布 （如醫療診斷案例）。

深度學習方法在大量診斷任務上取得了醫生級別的準確率，包括識別黑痣和黑色素瘤，從眼底圖像和光學相干斷層掃描 （OCT） 圖像中檢測糖尿病性視網膜病變、判斷心血管風險，提供轉診建議，以及從乳房 X 光片中檢測乳腺病變、使用核磁共振成像進行脊柱分析。甚至有研究證明單個深度學習模型在多個醫療模態中都很有效 （如放射科和眼科）。但是，這些研究的一個關鍵限制是人類醫生與算法性能之間的對比缺乏臨床背景，它們把執行診斷的情形限制在僅使用圖像的條件下。而這通常會增加人類醫生進行診斷的難度，現實醫療環境中醫生可以看到醫療影像和一些補充數據，包括病人的病史、健康記錄、其他檢測和口述等。

一些診所開始使用圖像目標檢測和分割技術處理緊急、不易被發現的病例，如使用放射圖像標注大腦中的大動脈閉塞，病人在永久性大腦損傷發生之前所剩的時間極其有限（幾分鐘）。此外還有癌癥病理切片讀取，該任務需要人類專家費力地掃描和診斷超高畫素圖像 （或同樣大小的實體圖像），現在該任務可以使用能夠檢測有絲分裂細胞或腫瘤區域的 CNN 來輔助進行。訓練之后的 CNN 用于量化組織病理圖像中的 PD-L1 數量，這項任務對確定病人要接受哪種免疫腫瘤藥物非常重要。結合像素級的分析，CNN 甚至被用于發現生存概率相關組織的生物學特征。

為新的醫療成像任務構建監督式深度學習系統的主要局限在于是否有足夠大的標注數據集。用于特定任務的小型標注數據集比較容易收集，但算法在新數據上的性能會比較差。在這些情況下，數據增強技術對提高算法的泛化能力有所幫助。類似地，大型無標注數據集也很容易收集，但它需要改進的半監督和無監督技術，如生成對抗網絡。

自然語言處理

自然語言處理（NLP）主要通過分析文本和語音來推斷詞的語義。循環神經網絡（RNN） 能高效處理該領域的序列數據，如語言、語音和時序數據等，它在 NLP 中起到了非常重要的作用。NLP 中的機器翻譯、文本生成和圖像描述取得了顯著成功。在醫療領域中，序列深度學習和語言技術為電子健康檔案（EHR）等應用提供了很多支持。

EHR 目前正在迅速普及，大型醫療機構的 EHR 能記錄超過一千萬患者過去 10 年內的醫療活動。此外，單獨一次住院大約能產生 15 萬條數據，因此從這些數據能獲取的有效信息與優勢是十分明顯的。總的來說，這種規模的 EHR 大概表示了 20 萬年的醫生智慧累積和 1 億年的患者醫療結果數據，其中還包含足夠多的罕見病癥。因此將深度學習應用到 EHR 數據是一個迅速發展的領域。

下圖 3 展示了為 EHR 構建深度學習系統的主要技術流程。其中系統首先會匯集多個機構的數據來構建原始數據，這能確保構建一個可泛化的系統。然后將各種非結構化的 EHR 數據標準化并解析為患者的時序數據，這可以令數據更適合使用深度學習進行訓練。

因此，最后我們就能推斷出高級醫療問題的答案，例如“患者病史中的哪些信息與當前疾病相關？”、“患者目前的疾病或問題列表是什么？”、“有哪些介入治療的可能性？”。

圖 3：使用 EHR 進行預測。其中 a 所示的非結構化 EHR 數據是使用不同數據格式存儲的，因此基于一所醫院的病例構建的模型無法用于其他醫院的數據。那么通過步驟 b 可以將不同格式的數據映射為基于 FHIR 的相同格式，它們都標準化為同質數據。接下來，c 根據用戶的時間線序列化數據，因此基于時序的深度學習技術能直接應用到整個 EHR 數據集上，并為單個病人做出預測。

在進行預測時，目前大多數研究工作都在有限的結構化數據上使用監督學習，這些數據包括實驗室結果、生命體征、診斷碼和人口統計數據等。為了解釋 EHR 中的結構化和非結構化數據，研究者開始使用無監督學習方法，例如自編碼器等。最近深度學習通過卷積和循環神經網絡建模結構化事件的時序序列（這些事件出現在患者的檔案中） ，預測未來的醫療事件。這些工作大多數都聚焦在重癥監護醫學信息數據庫（MIMIC），它包含來自單個醫療中心的大量重癥監護（ICU）患者數據。雖然 ICU 患者比非 ICU 患者能產生更多的 EHR 數據，但非 ICU 患者的數量要遠遠超過 ICU 患者。因此目前仍然不確定從這些數據獲得的模型如何泛化到更廣泛的人群中。

下一代語音識別和信息抽取模型可能會開發臨床語音助手，從而準確地轉錄患者就診信息。醫生在工作日的 11 小時中，需要花 6 小時處理 EHR 文檔，而這會減少用于患者的時間。因此自動化轉錄將緩解這種問題，并促進更多更有價值的服務。基于 RNN 的語言翻譯模型能夠使用端到端的技術直接將語音轉換為另一種語言的文本。這種技術能直接將患者和醫生的對話轉化為轉錄文本記錄。不過關鍵難點在于，在準確總結對話的同時，模型還需要從對話中對每個醫療實體的屬性和狀態進行分類。雖然早期的人機交互實驗非常有前景，但這些技術還沒有廣泛部署到醫療實踐中。

未來的研究工作可能會集中在開發新算法，以更好地利用 EHR 中信息豐富的非結構化數據。例如在開發預測系統時，臨床記錄通常被省略或采用節選編輯，這種非結構化數據就含有非常多的診斷信息。一般我們通過半監督學習結合結構化和非結構化數據，其中大規模 RNN 展現出非常優秀的性能與結構。這種數據組合允許模型從更廣泛的數據類型中學習更多的知識，并在多項任務中超過其它技術，這些任務包括死亡率、再入院率、住院時間和診斷預測等。

強化學習

強化學習是指訓練計算智能體成功與環境互動的技術，通常是為了實現特定目標。強化學習可通過試錯、演示或混合方法來實現。一旦智能體開始在其環境中采取行動，獎勵和后果的迭代反饋循環會訓練智能體更好地完成目標。從專家演示中學習有兩種方式：通過監督學習（即模仿學習） 直接預測專家的行為；推斷專家的目標（即逆向 RL）。要想成功訓練智能體，模型函數至關重要，它把環境中的感官信號作為輸入，輸出智能體要采取的下一步行動。在深度強化學習中，深度學習模型作為模型函數，頗具前景。

可以從深度強化學習中受益的一大醫療領域是機器人輔助手術（RAS）。目前，機器人輔助手術的主要方式是醫生以遙控方式指導機器人操縱器械。通過使用計算機視覺模型（如 CNN） 來觀察手術環境、使用強化學習方法學習外科醫生的動作，深度學習有效提高了機器人輔助手術的穩健性和適應性。

這些技術支持高度重復與時間敏感的手術任務，如縫合和打結。例如，計算機視覺技術（如用于目標檢測/分割和立體視覺的 CNN）可以根據圖像數據重建開放性傷口的樣子，然后通過解決路徑優化問題生成縫合或打結軌跡，該路徑優化問題試圖在考慮外部約束 （如關節限制和障礙）的同時找到最優軌跡。與此類似，用圖像訓練的 RNN 通過學習外科醫生的動作序列能夠學會自動打結。

這些技術對完全自動化的機器人手術或微創手術尤其有利。在現代腹腔鏡手術中，需要有幾個切口把器械插入體內，這些器械包括相機機和手術工具，然后外科醫生遙控操作這些器械。深度模仿學習、RNN、軌跡遷移算法可以完全自動化手術過程中的某些遙控操作任務。在腹腔鏡手術中，重復任務的自動化比開放手術對時間的要求更嚴格。例如，在腹腔鏡手術中打結可能需要三分鐘，而不像開放手術中只需幾秒。

半自動遙操作的主要挑戰之一是在手術場景附近正確定位儀器的位置和方向。最近，采用改進 U-Net 架構 CNN 開發的像素級儀器分割技術開始嶄露頭角。深度學習應用于手術機器人的另一大挑戰是數據收集。深度模仿學習需要大量的訓練數據集，包含每個手術動作的多個示例。由于許多手術是精細、獨特的，收集足夠的數據用于其他一般性手術仍然非常困難。而且，自動化系統仍然難以完全適應未知和未觀察到的情況，如異常的手術事故。

深度學習的推廣

除了 CV、NLP、RL 任務之外，深度學習也適用于數據差別微妙且需要特別對待的領域。此處以基因組學為例，在這一領域中，用于處理獨特數據表征的深度學習技術已遠不止（基于 CNN、RNN 等的）傳統深度學習方法。

現代基因組技術包含許多種度量，從個人 DNA 序列到血液中多種蛋白質的數量。用于分析這些度量的方法可以通過深度學習得到極大改進，而這些改進將幫助臨床醫生提高治療和診斷的準確率。在基因組學領域，創建一個深度學習系統的典型工作流程包括：

獲取原始數據（如基因表現型數據）

將原始數據轉化為輸入數據張量

將這些張量數據傳入神經網絡并用于特定的生物醫學應用（如圖 4）。

圖 4：基因組學中的機器學習。a：輸入數據。基因組數據由實驗測量數據組成，從中可以預測某些特性或有趣的結果。這些數據通常豐富多樣，可能包含排序、基因表現型、功能性數據以及其他形式的分子數據。b：示例數據張量。原始的實驗度量需要轉化為適合深度學習算法使用的形式，一般深度學習算法將多維數據張量和相關目標標簽作為輸入。c：DNN。使用帶有標注的張量來訓練 DNN，以從輸入數據張量中預測標簽。d：生物醫學應用。經過訓練的 DNN 可以應用于生物醫學，如預測以前未見過數據的標簽或檢查輸入數據和輸出標簽之間的關系。示例應用包含解釋實驗數據（如從序列工具的輸出中推斷 DNA 序列或推斷 DNA 突變對基因剪切的影響）、分子診斷學（如預測基因突變對疾病風險或藥物反應的影響）等。

全基因組關聯（GWA）分析隱藏著巨大的機遇，這是一種大型病例對照研究，旨在發現影響特定性狀的基因突變。GWA 分析要求算法可以擴展到非常大的患者群體，還要能處理潛在的混雜因素。這些挑戰可以通過優化工具和深度學習相關技術解決，包括隨機優化和其他結合了平行計算的現代方法，以及解決不可見混雜因素的建模技術。在不久的將來，將外部模式和額外的生物數據來源整合到 GWA 研究中的模型，也可能受益于深入學習，它們能夠更準確地識別疾病相關的因果突變。

了解疾病遺傳學可以幫助臨床醫生推薦治療方法并提供更準確的診斷。確定患者基因組中的新變異是否具有醫學相關性是內科醫生面臨的一大挑戰。在某種程度上，這種決策依賴于預測突變的致病性，目前已有任務使用蛋白質結構和進化保守性等特征來訓練學習算法。由于能夠有效地整合不同的數據類型，深度學習技術可能提供比現在更準確的致病性預測。

機器學習對于從基因數據中進行表現型預測也發揮著重要作用，包括身高、疾病風險等復雜的性狀。深度學習可以通過整合醫療圖像、病例、可穿戴設備數據等其他形式的數據進一步增強此類模型。一種非常有前景的表現型預測方法是預測中間分子的表現型，如基因表達或基因剪切等，這些信息接下來會用于下游疾病的預測。中間分子狀態預測要比人類性狀預測容易一些，因為其信號更多，訓練數據更加廣泛。這兩個特征使得這一問題非常適合用深度學習解決，后者已經被證實非常善于預測剪接和轉錄因子結合。

基因組數據也可以直接作為疾病產生和衍化的生物標志物（biomarker）。例如，血液中含有少量脫離細胞的 DNA，這些 DNA 是從身體其他部位的細胞中釋放出來的。這些 DNA 片段是器官排斥反應 （即免疫系統攻擊移植細胞）、細菌感染及早期癌癥的非侵入性指標。脫細胞 DNA 被成功地應用于產前診斷：胎兒 DNA 存在于母親的血液表明染色體畸變，可以揭示胎兒的整個基因組。生物標記數據通常非常嘈雜，需要進行復雜的分析（如確定脫細胞 DNA 是否預示癌癥）；深度學習系統可以提高針對 DNA 序列、甲基化、基因表達及其他度量的生物標記分析的質量。