基於多模態深度學習的泛癌組織學-基因組學整合分析

撰文 | Nan球是生命

微環境中組織病理學、基因組和轉錄組的異質性共同決定了癌症患者對治療的反應及療效。目前臨床上對於許多癌症主要透過手動評估其組織病理學特徵，以腫瘤侵襲、壞死、分裂的程度作為評級標準將病人劃分到不同的風險組，為後續的治療提供參考。

近年來新興的計算機病理學可透過組織學影象建立預後模型，並逐步成為一種可靠且客觀的方法。然而，大多數預後模型侷限於組織學或基因組學中的一種，無法將它們整合在一起成為基於影象-組學的預後模型。

近日，來自哈佛醫學院布萊根婦女醫院的

Faisal Mahmood

團隊在

Cancer Cell

發表了文章

Pan-cancer integrative histology-genomic analysis via multimodal deep learning

，

利用多模態深度學習整合分析了14種癌症的全切片影象和基因圖譜資料，該演算法透過不同形式來預測好和差的預後效果，基於形態學和分子水平在疾病和患者層面對患者預後效果進行預測，結合腫瘤，基質和免疫細胞在腫瘤微環境中的空間分佈來綜合考量對患者風險進行分級，並建立了開放的資料庫以供進一步的探索，以及生物標誌物的發現和特徵評估。

為了解決將影象和組學資料整合在一起分析癌症預後的問題，作者開發了

多模態融合的深度學習演算法

（

MMF

），利用全切片H&E影象和分子資料圖譜（包括突變狀態，複製數變異，RNA-seq資料表達）來評價和預估癌症死亡風險。文章中作者使用TCGA資料庫中來源於5720位患者的6592張十億畫素的全切片影象對模型進行訓練和評估，並建立了

基於病理-組學整合分析的研究平臺

（

PORPOISE

），來驅動新的預後標記物的發現。

首先作者利用配對的14種癌症的分子資料對多模態深度學習模型（MMF）進行了5倍交叉驗證，並和AMIL（僅使用組織學資料）及SNN（僅使用基因組學測序資料）這兩種單模態深度學習模型進行了比較，用交叉驗證的一致性指數（c-Index）和動態曲線下面積（survival AUC）來評估不同模型的可靠性，並用Kaplan-Meier生存曲線去視覺化高低風險患者人群的分級質量。作者發現，在這14種癌症中，MMF的一致性指數最高（0。645），生存曲線下面積也優於AMIL和SNN，改進了至少7種癌症的患者分級顯著性。

作者對

全切片影象

（

WSIs

）為癌症預後分析所貢獻的比重進行了定量，發現其平均佔比16。8%，表明基因組學資料在MMF的風險預測中佔據主要地位。但他們也發現在UCEC（子宮內膜癌）中WSIs佔比高達55。1%，在HNSC（頭頸癌），STAD（胃腺癌）和LIHC（肝癌）等其他癌種中也觀察到較高的貢獻比例，證明MMF相比於AMIL能提取出更多的基因組學資料，相比於SNN能提取出更多的組織學資料，集兩家之所長而更優。

為了進一步驗證他們的模型，作者將基於關注度和梯度的註釋方法附加到這三種模型上。對於WSIs，作者給H&E診斷切片添加了視覺化工具併疊加關注度比重，並以一個高解析度關注度的熱圖呈現出來，不同區域的影象熱度代表不同的預後風險。對於分子組學資料，他們使用SHAP形式的歸因圖來視覺化不同分子特徵的比重和方向。這些註釋和視覺化的技術被用來建立了一個新的平臺（PORPOISE）。作者分別以透明細胞腎細胞癌（KIRC）和乳頭狀腎細胞癌（KIRP）為例，對它們分別進行了區域性和全域的資料解讀，發現KIRC高風險患者的高關注度區域有更多的腫瘤內部壞死，而KIRP高風險患者的高關注度區域則有更多的腫瘤細胞侵襲腎小囊。對於不同型別的癌症，MMF演算法可同時兼顧腫瘤和基質兩個區域。另一方面，MMF也能夠識別很多文獻已報道的致癌和免疫相關基因，例如在LGG（神經膠質瘤）佇列，IDH1突變被認為是貢獻最大的基因，別的癌症型別如乳腺癌中PIK3CA，結直腸癌中SOX9和SOX11突變的貢獻比重最大。

最後作者透過腫瘤浸潤的淋巴細胞（TIL）對癌症風險的預測來進一步證實PORPOISE平臺的可靠性，他們發現9種癌症預測低風險患者的TIL顯著多於高風險患者，說明這個模型的關注度聚焦在高免疫區域，它也證明了免疫反應的形態學特徵證明TIL在許多癌症中是可靠的預後指標，可作為對高低風險患者分級的重要參考。作者最後指出，該演算法的侷限性在於，雖然對資料的解讀可以指出“是什麼”和“在哪裡”，但它通常不能解釋“為什麼”。總的來說，

這篇研究展示了多模態預後模型利用弱監督的深度學習模式來全面地預測和展示了癌症患者的風險程度和預後，為描繪腫瘤內異質性，免疫細胞呈遞和其他形態學決定因素提供了更強大的工具。

原文連結：

https://doi.org/10.1016/j.ccell.2022.07.004

參考文獻

1。 Marusyk， A。， Almendro， V。， and Polyak， K。 （2012）。 Intra-tumour heterogeneity： a looking glass for cancer？

Nat. Rev. Cancer

12， 323–334。 https：//doi。org/10。 1038/nrc3261。

2。 Amin， M。B。， Greene， F。L。， Edge， S。B。， Compton， C。C。， Gershenwald， J。E。， Brookland， R。K。， Meyer， L。， Gress， D。M。， Byrd， D。R。， and Winchester， D。P。 （2017）。 The eighth edition AJCC cancer staging manual： continuing to build a bridge from a population-based to a more ‘‘personalized’’ approach to cancer staging。

CA. Cancer J. Clin

。 67， 93–99。 https：//doi。org/10。3322/caac。21388。

3。 Tarantino， P。， Mazzarella， L。， Marra， A。， Trapani， D。， and Curigliano， G。 （2021）。 The evolving paradigm of biomarker actionability： histology-agnosticism as a spectrum， rather than a binary quality。

Cancer Treat Rev.

94， 102169。 https：//doi。org/10。1016/j。ctrv。2021。102169。

想了解更多精彩內容，快來關注BioArt生物藝術