9大Fellow得主，用11個案例，帶你看清今年的醫學影像AI算法和研究熱點。

近日，第四屆圖像計算與數字醫學國際研討會（ISICDM 2020），在遼寧省沈陽市的東北大學國際學術交流中心舉辦。

在開幕式環節中，中科院自動化研究所田捷教授以《醫學影像中的人工智能的算法和研究熱點》為題做了大會報告。

田捷教授現任中國科學院自動化所研究員、分子影像重點實驗室主任、北航-首醫大數據精準醫療高精尖創新中心主任。

自2010年起，田捷教授連續獲得計算機視覺與醫學影像分析領域的9大Fellow，其中包括AAAS 、IEEE 、IAMBE 、SPIE 、AIMBE 、IAPR 、OSA 、ISMRM 、WMIS。同時也是兩項國家重點基礎研究發展計劃（973計劃）首席科學家。

他主要從事醫學影像分析與生物特征識別的研究和應用的工作，還長期從事光學分子影像研究，在光學分子成像等領域做出了系統性、創新性貢獻，特別是生物自發光和激發熒光斷層成像及其應用方面。

征得田捷教授同意后，我們提供PPT供大家學習和下載。關注公眾號《醫健AI掘金志》，對話框回復“田捷”即可獲取。

以下是田捷演講全文，雷鋒網《醫健AI掘金志》做了不改變原意的編輯：

田捷：今天和大家匯報的題目是《醫學影像中的人工智能的算法和研究熱點》，分為以下幾個方面：包括自己團隊對醫學影像人工智能的工作進展，以及回歸臨床的人工智能到底給患者和臨床帶來什么收益。

人工智能跟我們醫學影像密切相關，這是斯坦福大學放射系主任，Sanjiv Sam Gambhir的歸納，從人工智能的早期像符號系統期，就開始用醫學影像來做良惡性判斷，再到AI 2.0機器學習，判斷會更加準確，再到AI的3.0。

隨著方法不斷更新，人工智能在醫學影像中的應用也越來越深入，越來越多臨床問題被更好的解決，使得患者能最終獲益。

另一方面，醫生和機器學習的關系，引用斯坦福大學Sanjiv Sam Gambhir教授在WMIC 2018給出的例子，從醫生角度來看，人工智能是計算機做人類認為智能的事，其從大到小包括機器學習、神經網絡、深度學習。同時深度學習更適合解決像超聲這樣人工難以定義特征的影像，下面的表述也是驗證他這樣的觀點。

AI的另一重要概念即大數據，一個病人影像的每個斷層是512×512的像素，200個斷層即可組成5000多萬個體素，形成1000~10萬個影像特征，醫生看片不可能看到1000~10萬個特征。

但計算機可以通過高通量處理對信息進行降維，使得診斷更準確，從而輔助醫生進行決策。

下面我將主要分享，以人工智能為核心，在數據、圖像、知識這三個環之間的作用。

CT、磁共振把信號變成圖像，讓人眼來判讀，來提取特征，人腦來加工，最終形成診斷知識，這恰好是現在影像組學和人工智能，醫學影像的研究熱點。我將對這些熱點，進行逐個分析。

首先從信號到圖像，過去都是醫學影像器械廠商完成，例如從K-空間，磁共振圖像生成，有一系列物理模型和數學模型，像萊登投影，螺旋采樣等這一系列方法。

但現在人工智能也在干這事，使得從復雜頻率信號到實域變換，生成人眼能看的磁共振圖像，經過訓練以后，從圖像中獲取知識給出判斷，但這種重建方法受到了降采樣噪聲干擾，使得很多圖像失真。

而人工智能不需要物理模型和數學公式，可以直接從信號到圖像，既克服失真，又可高質量重建。此外AI重建出來的結果，顛覆了過去由物理模型和數學算法降采樣得到圖像的方式，其信噪比更高，圖像質量更好。

這是前年發表在Nature雜志上的文章，以深度學習進行重建，解決了磁共振從信號到圖像的問題。得到了更好圖像質量效果，對廠商也起到了顛覆和促進作用，該工作是由哈佛大學醫學院完成的，第一作者是中國人。

我們團隊也開展了類似工作，通過訓練樣本得到光源位置，不需要經過輻射傳播方程來近似求解，以深度學習進行重建，其中沒有復雜物理過程和簡化數學模型，這個工作我們也發表在了Optica上。該工作以深度學習進行重建，與前面磁共振邏輯思路類似，按照這個思路我們做了一個系列，包括自發熒光，激發熒光，光聲成像。

從信號到圖像完全可以用深度學習，噪聲更低，效果更好，顛覆了復雜物理過程和數學模型，使得重建更加有效。

回歸到今天的主要內容：圖像到知識。

重點從4個方面進行匯報：基于人工智能的影像組學方法；基于深度學習的影像智能診斷；特異性新型卷積神經網絡模型；醫療人工智能的前沿熱點方向。

基于人工特征的影像組學分析

影像組學概念綜合了醫學影像、基因和臨床大數據，用人工智能高通量提取疾病相關信息，輔助臨床決策，和醫生看片是一樣的邏輯。

醫生看病是從影像提取特征，人眼看結構特征，根據經驗進行人腦加工，最后給出決策。計算機通過影像數據，定量提取高通量特征，人工智能建模來輔助決策。

其中最大區別是人眼看的是結構，計算機看到的是高維信息。

高維信息能夠提取微觀基因蛋白信息在宏觀影像上的表達，從而反映人體組織細胞和基因水平變化，使得診斷更準確，治療更有效，這是影像組學意義所在。

影像組學也可以跟其他組學融合，通過人工智能高通量的提取特征信息，再進行建模，實現精準診斷、預后預測以及治療方案選擇。

圍繞著這幾個方面舉典型案例，說明人工智能到底解決了什么問題，患者的獲益在哪里。

人工智能對醫學來說到底效果是什么？

對臨床來說，影像是無創的，病理是有創的，通過手術和穿刺才能得到。病理是微觀，影像是宏觀，如果借助人工智能從宏觀影像上挖掘出微觀信息，把影像逼近病理，使兩個技術1+1>2，診斷將更準確。

另一方面，把宏觀影像跟外部預后結合在一起，定量分析影像數據和臨床數據，也能夠輔助疾病個性化診療和精準預測。

其中最重要的就是特征，人眼只能看到形狀特征。一些高維特征、標準方差、能量、復雜灰度、共生矩陣特征和熵，人眼都沒辦法看，也沒辦法加工，但計算機可以處理這些高維信息。

這是廣東省人民醫院劉再毅教授發表在Radiology的一篇文章。中間結構圖是影像；兩個癌癥患者年齡差不多，結構特征能看到的信息差不多相同。

放射科大夫寫報告都會描述形狀不規則，邊緣較模糊，長徑多少，只能讓臨床外科和內科大夫去做判斷。

但這兩個人的預后差別很大，一個5年半沒有復發，一個一年半就去世了。

這就是腫瘤異質性，從結構上看不到這兩個患者的預后和腫瘤異質性（腫瘤本質的差別）。

我覺得醫工交叉要解決問題，研究思路應該是源于臨床提出問題，要具體化，越具體越好。特別是現在臨床解決不了的某一個點上的某一個具體問題，找適合的人工智能的數據處理方法和分析方法，最后回歸臨床應用。

下面我會舉一些例子，說明了人工智能的效果。不同應用目的的工作為例子，以印證上面研究思路，案例均摘自Ebiomedicine（柳葉刀子刊）。

案例一：新輔助治療效果評估

這是與南方醫院合作的科研案例，針對特定臨床問題：局部晚期宮頸癌治療前難以預測新輔助治療療效。采用了275例新輔助化療前宮頸癌多中心多序列MR影像。

用人工智能多序列、多區域MR影像組學特征分析，實現局部晚期宮頸癌患者的新輔助療效精準預測。從過去不能從磁共振圖看出問題，到借助人工智能加磁共振的分析達到精準預測。

這個成果發表在醫學雜志Ebiomedicine上，國際同行法國教授Dimitris Visvikis認為該研究表明在多中心驗證影像組學模型是可行的，該工作將促進影像組學的臨床應用轉化。

案例二：孕婦產后出血預測

這是與河南省人民醫院合作的案例：通過分析近300例胎盤增生孕婦產前MR影像、MR影像組學特征，對多中心T2WI序列進行智能分析實現孕婦剖腹產發生出血的精準預測。

案例三：肝硬化門脈高壓預測

前面是影像逼近病理，這是對肝靜脈壓梯度測量的預測，通過回顧性CT圖像數據進行學習預測，提取了特征再進行前瞻性AI預測，效果也不錯。

案例四：遠處轉移風險評估

鼻咽癌遠處轉移風險評估案例中，我們使用176例鼻咽癌患者MR影像進行數據定量分析，實現治療前對鼻咽癌患者遠處轉移風險的精準預測。

案例五：腦膜瘤腦組織侵襲風險評估

第五個案例是腦膜瘤腦組織侵襲風險的預測。腦膜瘤患者會有術前評估不準確性，我們取1728例術前腦膜瘤患者多序列MR影像，分析定量影像組學特征與腦組織侵襲潛在關聯，實現了腦膜瘤患者腦組織侵襲風險精準預測。

這些案例都是以問題為導向，說明人工智能解決臨床的特定問題，但問題一定是源于臨床，找到一個特定問題，高于臨床找到適合的方法，回歸臨床看效果。

對于AI找肺結節類問題在臨床上并不一定有實際意義，也許方法很炫，在特定數據集上也很有效，但距離實際的臨床問題和患者都太遠。

基于深度學習的影像智能診斷

影像組學還存在采用人工定義特征靈活性較低的問題，通過端到端的深度神經網絡在數據中自動提取特征，能夠減少對人的依賴，但這樣的方法的可解釋性給我們帶來了挑戰。

深度學習可以減少對人的依賴，無需人工定義特征，但需要的數據量也就提高了，超聲就是很好的案例。

超聲圖像數據量大，類型多，沒有冠狀面和矢狀面，一般每個醫生之間無法達成共識，與醫生的操作手法有很大關系，恰恰適合深度學習。

超聲圖像大概有兩類：靜態和動態。靜態分為B超圖像、彈性成像；動態分為B超視頻、造影視頻。

我們在Medical Image Analysis上相繼發表兩篇文章，針對靜態圖像分割，建立深層局部注意金字塔神經網絡模型，在多個超聲數據集中分割精度與專家手動分割近乎一致。

針對動態視頻追蹤，建立級聯單樣本可變形卷積神經網絡模型，對超聲視頻中肝癌實現高精度實時自動追蹤。

基于深度學習的影像智能診斷方面，我也將重點分享六個案例：

案例1：超聲影像組學-預測肝癌TACE治療預后

肝癌患者TACE預后差異大，術前缺乏有效預測手段的問題。

我們和中山大學一附院合作，針對139例肝癌患者術前超聲造影動態視頻建立了3D CNN網絡，進行視頻數據特征自動學習，精準預測肝癌TACE治療預后情況，精度可以達到0.93。

左邊是超聲造影圖像，深度學習可以將超聲動態視頻轉化為更直觀的分類視頻，紅色代表預后貢獻值，紅色越多代表預后效果好，藍色代表預后效果不好，上面這個人預后效果更好，即使不是醫生也可以看懂。深度學習把數據變成知識，縮短了醫生的學習曲線。

案例2：卷積神經網絡預后模型-肝癌治療方案的選擇-個性化診療

早期肝癌（5公分以下）選擇肝切還是消融這個問題，我們以兩百多例消融和肝切患者術前超聲造影視頻及預后隨訪數據為基礎，得到17%消融患者和25%肝切患者診療方式應該互換，預后效果會更好，這就是個性化診療。

過去個性化診療憑大夫經驗，根據化驗結果和醫學經驗判斷該肝切還是消融，但每個人經驗是有限的。

使用卷積神經網絡挖掘多相位超聲視頻特征，學習動脈期、門脈期、靜脈期超聲視頻圖像，然后集合Cox比例風險損失函數，就可以實現個性化診療，端到端進行預后預測。

通過AI計算，37位消融患者如果接受肝切治療，兩年PFS概率增加12%，56位肝切患者接受消融治療，2年后PFS概率增加15%。

通過大數據和回顧性數據，可以對預后效果進行前瞻性預測，借助人工智能實現治療方案的選擇和推薦。

案例3：遷移學習—肺癌EGFR基因突變預測

影像不僅能逼近病理，還能做基因預測。原來判斷肺癌有沒有EGFR基因突變，需要進行穿刺。但穿刺風險很大，可能會激活腫瘤加快擴散，甚至穿刺可能帶動腫瘤轉移。

由于腫瘤異質性影響，一針不一定穿到腫瘤核心位置或想穿的地方。如果拍個CT就可以知道基因類型，可以解決規避很多風險，其中人工智能就可以發揮作用。

我們用遷移深度學習方法，對800余例肺腺癌患者多中心CT影像，進行基因突變預測。對EGFR突變給出預測，將其展現成可理解的知識。前面例子紅色代表貢獻值，是深度學習給出的腫瘤中EGFR基因突變高可疑區域。

對著高亮區域穿刺，效果會更好，也克服了前面的假陽性或假陽性結果，當然我們更重要進行無創的預測。

該成果發表在臨床類頂刊-歐洲呼吸上，第一作者是一個工科學生，這個方法解決問題的效果好，實現了從影像+人工智能的基因預測。

案例4：半監督深度學習—卵巢癌復發時間預測

在卵巢癌復發時間預測中，我們還構建了基于Dense連接的卷積自編碼器網絡。

通過半監督深度學習挖掘缺乏隨訪CT影像的數據，從大量無隨訪CT影像中學習腫瘤關鍵特征，少量隨訪數據和大量無隨訪CT影像得到復發風險預測精度為C-Index=0.713；預測三年復發率AUC=0.772。

案例5：多模態特征融合—胃癌腹膜轉移預測

第五個案例是胃癌隱性腹膜轉移，這類疾病術前無法進行影像判斷，給外科大夫帶來很大困難。

外科大夫只有通過手術看到后才發現胃癌腹膜轉移，按照NCCN指南開刀手術已經沒有價值。

以前，外科大夫根據經驗不知道是否有隱性腹膜轉移，癌癥患者開刀是首選，而我們可以用人工智能深度學習進行精準預測，通過構建融合影像組學特征和深度學習特征的分期預測方法，大幅提高腹膜轉移診斷精度，對臨床漏診患者檢出率達85%，這個文章發表在腫瘤權威的雜志上。

這個工作不僅發表了臨床類雜志文章，雜志同期還邀請臨床專家就深度學習述評，認為其可以做為一個有效的胃癌診斷工具，比現有臨床分析和臨床特征更加精確。這也證明人工智能發表在醫學類雜志上的意義。

這個工作當年就寫入中國臨床腫瘤學會CSCO胃癌診療指南，讓更多病人避免白挨一刀，也讓更多醫生不用開一個沒有價值的刀。

案例6：全自動深度學習模型—新冠肺炎診斷

今年新冠疫情的影響下，我們對新冠肺炎的診斷進行研究，針對新冠肺炎與其他肺炎的鑒別，我們構建端到端深度學習進行自動檢測。

深度學習模型自動關注肺內結節和炎癥區域，實現全自動新冠肺炎診斷，在來自兩家中心獨立外部驗證集上AUC均大于0.87。

由于主要是鑒別新冠，研究采用了6家醫院1266例肺炎患者的CT影像（924例新冠，324例其他肺炎），還有另外兩家醫院做獨立外部驗證集，AUC達到0.87和0.88。

該工作是深度學習大數據回歸的結果，使模型關注肺內結節和炎癥區域，讓判斷更加準確。

特異性新型卷積神經網絡模型

特異性新型卷積神經網絡模型這方面也有很多工作，針對醫學應用，我們提出了多尺度池化方法，強化腫瘤內部關鍵信息，把腫瘤瘤內、瘤外、瘤周信息進行多尺度提取，實現肺癌早期診斷，文章發表在Pattern Recognition雜志上。

我們還提出中心池化卷積神經網絡分層量化腫瘤空間信息概念，與傳統池化、均勻量化相比，通過非均勻中心池化窗約束對瘤內、瘤周、瘤外區域分別使用不同大小的池化窗，實現基于空間信息的特征篩選，得到更多特征信息。

醫療人工智能的前沿熱點方向

第一，病理-影像大數據融合影像組學研究

前面是以影像為主進行挖掘，病理圖像也是圖像，也很適合人工智能，如果把影像挖掘跟病理挖掘合二為一，效果肯定會1+1>2。

案例：影像病理組學輔助直腸癌療效預測

這是第一個課題，從影像組學得到的結果，把影像組學+病理圖像結合，準確率提高15%以上，說明利用多組學分析能解決更多問題。

第二，構建醫學影像大數據

醫工交叉和人工智能醫學領域應用基礎就是數據庫，這是中國的一個優勢，美國TCGA數據庫做了很多年才達到1萬例。中國數據比較多，我們團隊已經積累了10萬多例腫瘤數據。

第三，研發醫學影像智能分析輔助診斷軟件

另外一個重要元素就是算法，把算法軟件集成在一起，形成算法庫，供醫生使用（開源），目前國內外已經有13萬人次下載。

我覺得未來AI還將進化到4.0時代，從數據直接獲得知識。從數據到圖像就是為了供人觀看，但生成圖像，會有很多噪聲，丟掉很多信息。

未來如果人工智能從數據到知識，對于整個醫學影像和放射科都將是一種顛覆，目前國內外都在研究。

最后總結一下，今天強調的是問題導向：源于臨床，找到特定問題；高于臨床，找到適合的人工智能方法；回歸臨床，讓人工智能解決問題，讓患者獲益。

這個工作必須醫工交叉，互補合作。很高興這幾年影像和超聲醫生，一直在嘗試，發表了一系列學術頂刊，這些工作將使醫療人工智能持續發展的生命力。

原文標題：中科院田捷教授：重新審視醫學影像AI，哪些算法和研究最具生命力？ | 萬字長文

文章出處：【微信公眾號：IoT科技評論】歡迎添加關注！文章轉載請注明出處。

責任編輯：haq