近年來，空間轉(zhuǎn)錄組學(xué)技術(shù)迅速興起，但其高昂成本和復(fù)雜實(shí)驗(yàn)流程讓它難以普及。然而，最新發(fā)表在 Nature Methods 的研究提出了一種顛覆性思路：讓傳統(tǒng)的 H&E 染色圖像“讀懂”基因表達(dá)，從而用圖像直接預(yù)測(cè)分子信息。核心成果集中于 OmiCLIP，這是一個(gè)融合圖像與轉(zhuǎn)錄組數(shù)據(jù)的大規(guī)?；A(chǔ)模型；基于它，研究團(tuán)隊(duì)還開發(fā)了 Loki 平臺(tái)，將該模型實(shí)用化，提供對(duì)齊、注釋、分解、檢索和表達(dá)預(yù)測(cè)五大功能。這項(xiàng)工作堪稱數(shù)字病理學(xué)的里程碑。
一、大規(guī)模數(shù)據(jù)構(gòu)建：打通視覺與組學(xué)的“數(shù)據(jù)橋梁”
團(tuán)隊(duì)從 32 個(gè)器官、1007 份樣本中收集了超過 2.2?百萬(wàn)對(duì)病理圖像補(bǔ)丁與 10× Visium 空間轉(zhuǎn)錄組數(shù)據(jù)，構(gòu)建“ST?bank”。每個(gè)補(bǔ)丁對(duì)應(yīng)其局部的基因表達(dá)信息。數(shù)據(jù)規(guī)模前所未有，為模型帶來極強(qiáng)泛化能力，也為預(yù)訓(xùn)練提供了堅(jiān)實(shí)基礎(chǔ)。
二、OmiCLIP 模型原理：將圖像和基因“說同一種語(yǔ)言”
借鑒 OpenAI 的 CLIP 模型框架，OmiCLIP 將每個(gè)圖像 patch 編碼為視覺向量，將同一區(qū)域表達(dá)量排名靠前的基因符號(hào)拼成“句子”，再編碼為文本向量。利用對(duì)比學(xué)習(xí)，讓視覺與文本向量在潛空間對(duì)齊：模型學(xué)習(xí)到圖像結(jié)構(gòu)與基因表達(dá)之間的對(duì)應(yīng)關(guān)系。預(yù)訓(xùn)練后，這個(gè)視覺–組學(xué)基礎(chǔ)模型具備跨模態(tài)理解能力，為后續(xù)應(yīng)用奠定核心支撐。
三、Loki 平臺(tái)落地：五大模塊實(shí)現(xiàn)多場(chǎng)景應(yīng)用
Align（對(duì)齊）
支持 ST 圖之間對(duì)齊，也能將 H&E 圖與 ST 圖對(duì)齊，用于消除樣本間差異甚至實(shí)現(xiàn) 3D 體塊拼接。實(shí)驗(yàn)證明，Loki Align 在真實(shí)和模擬數(shù)據(jù)中表現(xiàn)均優(yōu)于 PASTE、GPSA 等工具。
Annotate（注釋）
通過 bulk RNA-seq 或 marker gene，對(duì) H&E 圖區(qū)域進(jìn)行自動(dòng)注釋，例如區(qū)分腫瘤、基質(zhì)或免疫細(xì)胞富集區(qū)。模型通過圖像–文本語(yǔ)義匹配，完成病理結(jié)構(gòu)定位。
Decompose（細(xì)胞分解）
利用 scRNA-seq 參考，將 H&E 圖像切片在視覺空間里分解為細(xì)胞類型組成比例。在乳腺三陰性腫瘤（TNBC）和結(jié)直腸癌（CRC）樣本中，Loki Decompose 的結(jié)果與真實(shí)分布高度一致，甚至超越傳統(tǒng)工具如 Tangram。
Retrieve（檢索）
支持圖像→轉(zhuǎn)錄組檢索，也支持基因表達(dá)向圖像區(qū)域反查。這一功能可以讓科研人員通過圖像找到最類似某種表達(dá)模式的區(qū)域，或通過表達(dá)模式對(duì)疾病進(jìn)行“圖像標(biāo)注”。
PredEx（表達(dá)預(yù)測(cè)）
只用 H&E 圖像，預(yù)測(cè)空間基因表達(dá)。實(shí)驗(yàn)中預(yù)測(cè)出的 marker 基因空間熱圖與真實(shí) ST 數(shù)據(jù)高度一致，為研究帶來“虛擬實(shí)驗(yàn)”可能，尤其適合節(jié)省成本或做預(yù)篩選。
四、多任務(wù)評(píng)估：22 種模型、27 個(gè)數(shù)據(jù)集一致優(yōu)異
Loki 團(tuán)隊(duì)面向五類下游任務(wù)，比對(duì)了 22 種國(guó)際 SOTA 方法，用了 5 個(gè)模擬數(shù)據(jù)集、19 個(gè)公開實(shí)驗(yàn)數(shù)據(jù)集和 4 個(gè)內(nèi)部實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行驗(yàn)證，Loki 在所有任務(wù)中表現(xiàn)出了穩(wěn)定且領(lǐng)先的準(zhǔn)確率與魯棒性。
五、研究亮點(diǎn)與工程實(shí)現(xiàn)
數(shù)據(jù)優(yōu)勢(shì)：百萬(wàn)級(jí)圖像–表達(dá)對(duì)應(yīng)極大提升模型泛化；
技術(shù)設(shè)計(jì)：gene?to?sentence 的文本編碼創(chuàng)新對(duì)齊方式；
預(yù)訓(xùn)練＋微調(diào)：CLIP 式預(yù)訓(xùn)練后，針對(duì)各個(gè)模塊 fine?tune，避免泛化損失；
開源＋可復(fù)現(xiàn)：團(tuán)隊(duì)公開了代碼、預(yù)訓(xùn)練權(quán)重、API 和教程。
六、典型案例
在多個(gè)真實(shí)案例中，這個(gè)系統(tǒng)表現(xiàn)令人驚艷：
• Loki Align 將多切片小腸切片對(duì)齊，消除批次差異，適合 3D 重建；
• 在 TNBC 和 CRC 圖像中，Decompose 自動(dòng)標(biāo)注免疫／上皮／基質(zhì)細(xì)胞空間分布，一致性強(qiáng)；
• PredEx 模塊預(yù)測(cè) KRT7、ATCG2 等 marker 空間表達(dá)，與真實(shí) ST 熱圖相符。
七、Loki 的應(yīng)用前景與局限
優(yōu)點(diǎn)明顯：僅憑常規(guī) H&E 圖像即可完成空間視圖預(yù)測(cè)，大幅降低成本，適合醫(yī)院大規(guī)模歷史樣本挖掘，還可用來輔助三維組織構(gòu)建與單細(xì)胞融合分析。
挑戰(zhàn)方面：預(yù)測(cè)精度還未達(dá)到利用真實(shí) ST 數(shù)據(jù)用于關(guān)鍵臨床決策的水平，對(duì)罕見組織類型可能仍需補(bǔ)充數(shù)據(jù)。目前只適用于 H&E 圖像與 Visium 類型數(shù)據(jù)的場(chǎng)景。
八、科研與科普建議
科研團(tuán)隊(duì)可以將 Loki 集成到已有工作流，先用 H&E 圖片預(yù)測(cè)表達(dá)，再選靶做 ST 或 IHC 驗(yàn)證；醫(yī)院可以將切片庫(kù)賦予分子注釋，作為輔助診斷數(shù)據(jù)來源；科普方面，這是一則 AI×組學(xué)真正“讓圖像聽得懂基因”的生動(dòng)案例。
九、總結(jié)
OmiCLIP 為視覺與組學(xué)搭建了強(qiáng)大的基礎(chǔ)模型，Loki 平臺(tái)則將模型功能落地，覆蓋從樣本對(duì)齊、結(jié)構(gòu)注釋、細(xì)胞分布分解、表達(dá)預(yù)測(cè)到檢索查詢的全流程功能。這項(xiàng)工作開啟了 H&E 圖像的“第二生命”，對(duì)數(shù)字病理、空間組學(xué)乃至疾病診斷都具有深遠(yuǎn)影響。
吉ICP備2021001101號(hào)-1
