Slayt Torba Ağı

Çoklu örnek öğrenme (MIL): bir tümörün belirli bir mutasyonu taşıyıp taşımadığını yalnızca slayt düzeyindeki etiketlerden öğrenen dikkat ağı

Tarayıcıda eğitilen küçük bir dikkat-MIL ağı ile zayıf denetim, havuzlama, dikkat haritaları ve laboratuvar parti etkisi tuzağı. Ders tarifi, alıştırmalar ve öz-değerlendirme.

⏱ Süre: 40 dk (ders tarifiyle); 15 dk serbest keşif 🧩 Ön koşul: Yok — kod gerekmez, tarayıcı yeter 🔗 İlgili: cBioPortal ile mutasyon verisi · Seri · QuPath atölyesindeki yapay zekâ okuryazarlığı eki

🎯 Öğrenme hedefleri

  • Torba / örnek ayrımını ve MIL varsayımını bir slayt üzerinde göstermek
  • Ortalama, maksimum ve dikkat havuzlamasının aynı veride neden farklı davrandığını açıklamak
  • Bir dikkat haritasını okumak ve onun neyi göstermediğini söylemek
  • Kestirme öğrenmeyi (laboratuvar boyasının mutasyon yerine öğrenilmesi) tetiklemek ve test kümesinde teşhis etmek
  • Simülasyonun hangi noktalarda gerçek bir mutasyon tahmincisinden ayrıldığını sıralamak

Simülasyon

Simülasyon aşağıda gömülüdür; tam ekran için ayrı sekmede açın. Dil düğmesi (TR/EN) sayfadaki açıklamaları değiştirir; ağ aynıdır.

⛶ Ayrı sekmede aç

Klavye: 1 2 3 adımlar · boşluk eğit/duraklat · N sonraki test slaytı.

Kurgu: neden “zayıf” denetim

Moleküler patolojide etiket her zaman olgu düzeyindedir: dizileme raporu “EGFR mutant” der, slayttaki hangi hücrelerin bunu ele verdiğini söylemez. Simülasyon bu durumu en küçük biçimiyle kurar:

  • 120 sentetik slayt, her biri 16 karo. 80 eğitim, 40 ayrılmış test.
  • Tek etiket: slayt mutant ya da yabanıl tip. Hiçbir karo etiketli değil.
  • Mutant slaytta 16 karodan yalnızca 2–4’ü mutant deseni taşır (büyük çekirdek + sitoplazmik solukluk + belirgin çekirdekçik). Geri kalanı sıradan tümör, stroma ve benzerler: pleomorfik karolar (büyük çekirdek, solukluk yok) ve dejenere karolar (solukluk var, çekirdek sıradan). Yabanıl tip slaytlarda da aynı benzerler var.
  • Her karo altı ölçüme indirgenir. Gerçek bir hatta bu adım, 256 piksellik karoyu 1024+ sayıya çeviren dondurulmuş bir temel modeldir (Chen vd. 2024; Xu vd. 2024); burada her ağırlık okunabilir kalsın diye altı sayı kullanılır.
  • Her slayt iki laboratuvardan birinde taranmıştır; B laboratuvarının hematoksileni zayıftır. Varsayılan olarak laboratuvar mutasyondan bağımsızdır.

Tek bir ölçüm sınıfları ayırmaz

Saçılım grafiğinde (1. adım) çekirdek boyutuna karşı solukluğu çizin. Mutant karolar bir köşede toplanır; mutant slaytlar her yerdedir, çünkü karolarının çoğu sıradandır. Her karoya slaytının etiketini verseydiniz çoğunlukla yanlış etiketle eğitirdiniz. Havuzlama adımının görevi, önemli olan birkaç karoyu etiketsiz bulmaktır.

Ağ: üç parça

Her modern slayt düzeyi modelin üç parçası vardır (Ilse, Tomczak, ve Welling 2018; Lu vd. 2021):

  1. Paylaşımlı kodlayıcı — her karonun altı sayısını gizli bir vektöre eşler; aynı ağırlıklar her karoya uygulanır.
  2. Havuzlama — 16 gizli vektörü tek bir slayt vektörüne çevirir. Simülasyonda üç seçenek vardır:
    • ortalama: her karo eşit sayılır; 16’da 2 bilgi taşıyan karo seyrelir;
    • maksimum: her boyutta en pozitif karo kazanır; MIL varsayımının işleç hâli; gradyan boyut başına tek karoya ulaşır;
    • dikkat: her karo için öğrenilmiş bir puan, softmax ile normalleştirilir, ağırlıklı ortalama alınır. Yumuşak, öğrenilmiş bir maksimum.
  3. Sınıflandırıcı — slayt vektörünü P(mutant)’a çevirir. Kayıp fonksiyonuna yalnızca slayt etiketi ulaşır; geri yayılım gradyanı havuzlamadan geçirip karolara dağıtır.

Kanıt sekmesi, her karonun logit’teki payını (dikkat ağırlığı × sınıflandırıcının o karoya bakışı) listeler. Dikkat ağırlığı ile katkı farklı sayılardır: bir karo yüksek dikkat alıp logit’i aşağı itebilir.

Ders tarifi (40 dk)

1

Slaytlar. Eğitim ızgarasını gösterin; mutant slaytları gözle bulmayı deneyin. Tek ipucu çerçeve rengidir. Bir mutant slaytı inceleyicide açın, Karo düzeyinde gerçeği göster düğmesini açın: 16’da 2–4 karo. “Torba” ve “örnek” sözcüklerini burada kullanın.

2

Ortalama havuzlama. 1. adımda Test etiketlerini gösteri açın. Eğit adımında havuzlamayı ortalama yapın, eğitin. Kayıp yüksekte kalır, eğitim doğruluğu %94 civarında takılır; ama kesikli test eğrisi ve AUROC (≈0,95) iyidir. Ortalama havuzlama iyi sıralar, emin karar veremez. Doğruluk ile AUROC farkını burada anlatın.

3

Maksimum. Ağırlıkları sıfırlayın, maksimuma geçin. Eğitim kümesine uyar; test AUROC’u üçünün en düşüğüdür (≈0,88). Gradyan boyut başına tek karoya ulaşır; tek bir benzer karo bir kararı çevirir.

4

Dikkat. Sıfırlayın, dikkate geçin. Kayıp hızla düşerken incelenen slayttaki ısının doğru karolara kaymasını izleyin; Kanıt sekmesini açın. Kodlayıcı ağırlık haritasında boyut, solukluk ve çekirdekçik sütunlarının birlikte büyüdüğünü, boya sütununun sıfıra yakın kaldığını gösterin. Sonra ağırlık sönümünü 0 yapıp yeniden eğitin: kayıp sıfıra yapışır, eğitim %100, test AUROC’u biraz düşer. 80 slaytla dikkat ezberlemeye başlar; CLAM’ın dropout, ağırlık sönümü ve doğrulama kümesinde erken durdurma kullanmasının nedeni budur.

5

Test. N’ye kırk kez basın. AUROC’u yüksek sesle söyleyin. Karışıklık matrisini okuyun.

6

Tuzak. Slaytlar adımında Laboratuvarı mutasyonla karıştırı açın (mutantların %90’ı B laboratuvarından). Sıfırlayın, dikkatle yeniden eğitin. Eğitim doğruluğu %100’e çıkar; dikkat haritası düzleşir; boya sütunu (x₆) büyür; test AUROC’u ≈0,97’den ≈0,75’e iner. Test kümesi iki laboratuvardan eşit sayıda slayt içerir, bu yüzden kestirme orada çalışmaz.

Beklenen sayılar (sabit tohum, ağırlık sönümü 0,03, 150–200 devir)

Ortalama: eğitim ≈ %94, test AUROC ≈ 0,95. Maksimum: eğitim ≈ %90–96, test AUROC ≈ 0,88. Dikkat: eğitim %93–100, test AUROC ≈ 0,97–0,99; ağırlık sönümü 0 ile eğitim %100, test ≈ 0,93. Laboratuvar tuzağıyla dikkat: eğitim %100, test AUROC ≈ 0,75. Sayılar tarayıcıda başsız (headless) çalıştırılarak doğrulanmıştır; öğrenme hızı ve gizli birim sayısı değiştirilirse oynar. Dikkatin kazandırdığı şey harita ve keskin karardır; bu veri setinde kendiliğinden daha iyi genelleme değildir — ortalama havuzlama güçlü bir temel çizgidir, literatürde de öyle.

Dikkat haritasını okumak

Harita modelin ağırlığını nereye koyduğunu gösterir; mutant desenin nerede olduğunu değil. Üç şey düzenli olarak ters gider:

  • Dikkat, logit’i aşağı iten bir karoda yüksek olabilir (ağırlık ≠ katkı).
  • Dikkat, biyolojiyle ilgisiz slayt geneli bir özelliği (boya) paylaşan karolara yayılabilir.
  • Dikkat edilmeyen karo yokluğun kanıtı değildir; softmax’in dağıtacak tek bir birim ağırlığı vardır.

Eğitmen düğmesiyle haritayı karo gerçeğiyle karşılaştırabilirsiniz; gerçek veride bunu yapamazsınız. Yayınlarda dikkat haritalarının patolog tarafından okunup sağlamlık denetimi olarak raporlanmasının, lokalizasyon sonucu olarak sunulmamasının nedeni budur.

Kestirme öğrenme ve çok merkezli veri

Ağın düşük eğitim kaybına giden iki yolu vardır: birkaç karodaki üçlü birleşimi öğrenmek ya da slaytın her karosunda bulunan boya yoğunluğunu tek bir ağırlıkla okumak. Gradyan inişi ucuz yolu seçer (Geirhos vd. 2020). TCGA’da merkeze özgü boya ve tarayıcı imzalarının, mutasyon ve sağkalım tahmincilerini nasıl şişirdiği gösterilmiştir (Howard vd. 2021); merkeze göre katmanlı bölme ve boya artırma bu yüzden standarttır. QuPath atölyesindeki boya normalizasyonu eki, aynı sorunun ölçüm tarafını ele alır.

Simülasyondan gerçek tahminciye

Yapı aynı kalır, ölçek değişir: doku tespiti → 10–20×’te on binlerce 224–512 piksel karo → dondurulmuş temel modelle gömme → bu dikkat bloğu, dizilemeden gelen slayt etiketleriyle. Bölme hastaya göre, doğrulama dış kohortta. En çok çalışılan hedefler için bildirilen AUROC, hedefe ve kohorta göre kabaca 0,75–0,95 arasındadır: kolorektal kanserde MSI (Kather vd. 2019; Echle vd. 2020), akciğer adenokarsinomunda EGFR (Coudray vd. 2018), pan-kanser taramalar (Kather vd. 2020; Fu vd. 2020). Ön tarama için yeterli, testin yerini almak için yetersiz.

Simülasyonun dışarıda bıraktıkları: 20.000 yerine 16 karo; okunamayan 1024 boyutlu gömme yerine altı okunabilir ölçüm; hasta başına tek slayt; dengeli sınıf oranı (çoğu mutasyon nadirdir); olasılık kalibrasyonu; ve gerçek tümörde “mutant desen”in sabit oranda bulunan keskin bir fenotip değil, istatistiksel bir eğilim olması. Laboratuvar tuzağının çareleri için Boya Kayması’na, etiketlerin gerçek kaynağı ve sınıf oranları için cBioPortal modülüne geçin.

Kendinizi test edin

Ortalama havuzlamada kayıp yüksekte kalır ve eğitim doğruluğu %94 civarında takılır; oysa test AUROC'u iyidir. Neden?

Havuzlama, sınıflandırıcı sinyali görmeden önce onu seyreltir; doğruluk ve kayıp bunu gösterir, AUROC göstermez. Dikkat seyrelmeyi kaldırır ve keskin karar verir; ama 80 slaytla ezberlemeye de başlar.

Laboratuvar tuzağı açıkken eğitim doğruluğu %100, test AUROC'u ≈ 0,5. Bu çift ne anlatır?

Kestirme öğrenme: eğitim kaybına giden ucuz yol. Teşhis, laboratuvar dağılımı eğitimden farklı olan bir test kümesidir; tedavi, merkeze göre katmanlı bölme ve boya artırma/normalizasyondur.

Dikkat haritasında bir karo yüksek ağırlık alıyor. Bu karo mutant deseni mi taşıyor?

Ağırlık ve katkı farklı sayılardır. Gerçek veride karo gerçeği yoktur; bu yüzden dikkat haritaları sağlamlık denetimi olarak okunur, lokalizasyon sonucu olarak değil.

Kaynaklar

Bu sayfada atıf verilen çalışmalar aşağıda listelenir; serinin tamamı için Kaynaklar.

Başa dön

Referanslar

Chen, Richard J., Tong Ding, Ming Y. Lu, Drew F. K. Williamson, Guillaume Jaume, Andrew H. Song, Bowen Chen, vd. 2024. “Towards a general-purpose foundation model for computational pathology”. Nature Medicine 30: 850-62. https://doi.org/10.1038/s41591-024-02857-3.
Coudray, Nicolas, Paolo Santiago Ocampo, Theodore Sakellaropoulos, Navneet Narula, Matija Snuderl, David Fenyö, Andre L. Moreira, Narges Razavian, ve Aristotelis Tsirigos. 2018. “Classification and mutation prediction from non-small cell lung cancer histopathology images using deep learning”. Nature Medicine 24: 1559-67. https://doi.org/10.1038/s41591-018-0177-5.
Echle, Amelie, Heike Irmgard Grabsch, Philip Quirke, Piet A. van den Brandt, Nicholas P. West, Gordon G. A. Hutchins, Lara R. Heij, vd. 2020. “Clinical-Grade Detection of Microsatellite Instability in Colorectal Tumors by Deep Learning”. Gastroenterology 159 (4): 1406-16. https://doi.org/10.1053/j.gastro.2020.06.021.
Fu, Yu, Alexander W. Jung, Ramon Viñas Torne, Santiago Gonzalez, Harald Vöhringer, Artem Shmatko, Lucy R. Yates, Mercedes Jimenez-Linan, Luiza Moore, ve Moritz Gerstung. 2020. “Pan-cancer computational histopathology reveals mutations, tumor composition and prognosis”. Nature Cancer 1: 800-810. https://doi.org/10.1038/s43018-020-0085-8.
Geirhos, Robert, Jörn-Henrik Jacobsen, Claudio Michaelis, Richard Zemel, Wieland Brendel, Matthias Bethge, ve Felix A. Wichmann. 2020. “Shortcut learning in deep neural networks”. Nature Machine Intelligence 2: 665-73. https://doi.org/10.1038/s42256-020-00257-z.
Howard, Frederick M., James Dolezal, Sara Kochanny, Jefree Schulte, Heather Chen, Lara Heij, Dezheng Huo, vd. 2021. “The impact of site-specific digital histology signatures on deep learning model accuracy and bias”. Nature Communications 12: 4423. https://doi.org/10.1038/s41467-021-24698-1.
Ilse, Maximilian, Jakub M. Tomczak, ve Max Welling. 2018. “Attention-based Deep Multiple Instance Learning”. Içinde Proceedings of the 35th International Conference on Machine Learning (ICML), 80:2127-36. PMLR. https://proceedings.mlr.press/v80/ilse18a.html.
Kather, Jakob Nikolas, Lara R. Heij, Heike I. Grabsch, Chiara Loeffler, Amelie Echle, Hannah Sophie Muti, Jeremias Krause, vd. 2020. “Pan-cancer image-based detection of clinically actionable genetic alterations”. Nature Cancer 1: 789-99. https://doi.org/10.1038/s43018-020-0087-6.
Kather, Jakob Nikolas, Alexander T. Pearson, Niels Halama, Dirk Jäger, Jeremias Krause, Sven H. Loosen, Alexander Marx, vd. 2019. “Deep learning can predict microsatellite instability directly from histology in gastrointestinal cancer”. Nature Medicine 25: 1054-56. https://doi.org/10.1038/s41591-019-0462-y.
Lu, Ming Y., Drew F. K. Williamson, Tiffany Y. Chen, Richard J. Chen, Matteo Barbieri, ve Faisal Mahmood. 2021. “Data-efficient and weakly supervised computational pathology on whole-slide images”. Nature Biomedical Engineering 5: 555-70. https://doi.org/10.1038/s41551-020-00682-w.
Xu, Hanwen, Naoto Usuyama, Jaspreet Bagga, Sheng Zhang, Rajesh Rao, Tristan Naumann, Cliff Wong, vd. 2024. “A whole-slide foundation model for digital pathology from real-world data”. Nature 630: 181-90. https://doi.org/10.1038/s41586-024-07441-w.