E se un modello imparasse a segmentare le immagini mediche senza essere riaddestrato?

Tyche è un nuovo modello che impara a segmentare le immagini mediche senza dover riaddestrare un nuovo algoritmo ogni volta. Invece di creare una sola maschera, produce soluzioni possibili, come un artista che disegna vari modi per delineare un organo. Il segreto è il 'contesto': un insieme di esempi già visti che guida il modello in compiti mai affrontati prima. Una nuova struttura a blocchi convoluzionali permette ai diversi risultati di 'parlarsi' tra loro, migliorando la qualità finale. Durante il test, Tyche usa un trucco chiamato 'augmentation in contesto', che varia l'immagine e unisce i risultati, generando previsioni. Questo significa che medici e ricercatori possono ottenere opzioni plausibili per una stessa scansione, capendo meglio le zone di incertezza. I vantaggi sono chiari: meno risorse, meno tempo e più flessibilità. Non serve un supercomputer per riaddestrare il modello ogni volta che compare una nuova patologia. Tyche apre la strada a un'intelligenza artificiale che impara da pochi esempi e offre più risposte invece di una sola. Il futuro della diagnostica potrebbe essere più probabilistico che deterministico, e Tyche è un passo importante in questa direzione.

Tyche si basa su un set di supporto (context set) che contiene un piccolo numero di esempi annotati. Durante l'inferenza, il modello estrae caratteristiche attraverso il suo backbone e le combina con i token del contesto per generare previsioni per nuove immagini. La novità sta nel blocco convoluzionale, che introduce connessioni residue tra i candidati di segmentazione, permettendo un raffinamento reciproco. Questo blocco calcola attentamente le somme dei pesi per evitare esplosioni di gradiente e mantiene la risoluzione spaziale. L'augmentation in contesto funziona aggiungendo piccole perturbazioni (rotazioni, scaling, rumore) agli input di test e aggregando le uscite attraverso una funzione di pooling stocastico, producendo così una distribuzione di maschere plausibili. La perdita è una combinazione di Dice loss per la sovrapposizione e un termine di entropia incrociata che premia la diversità tra i candidati, evitando che il modello cada in una singola soluzione deterministica. Sperimentalmente, Tyche mostra prestazioni paragonabili ai metodi basati su fine-tuning su dataset come ISIC e ChestX-ray, ma con un tempo di adattamento ridotto da ore a secondi. L'analisi dell'incertitudine rivela che le previsioni stocastiche riflettono meglio le ambiguità degli annotatori umani, rendendolo uno strumento prezioso per i radiologi. In sintesi, Tyche unisce il few-shot learning, l'augmentation in contesto e un'architettura innovativa per offrire segmentazioni multiple e realistiche senza bisogno di riaddestramento.