Come i Transformers stanno rivoluzionando la classificazione di immagini iperspettrali e LiDAR?

I satelliti e i droni catturano due tipi di dati: le immagini iperspettrali (HSI), ricche di colori e dettagli chimici, e le misurazioni LiDAR, che mostrano l’altezza del terreno. Unire queste informazioni è come mescolare due lingue diverse: difficile, ma molto potente. Un team di ricercatori ha creato CSTC, una rete neurale che usa i Vision Transformers, i “cervelli” dei computer più bravi a capire il contesto. La struttura ha due rami: uno per l’HSI, che riduce le dimensioni con l’analisi delle componenti principali e poi estrae caratteristiche spettrali‑spaziali; l’altro per il LiDAR, che utilizza MobileNetV2 per cogliere le forme del terreno. Entrambi i flussi di dati vengono trasformati in sequenze di “token” e messi in comunicazione tramite un modulo di cross‑attention, una specie di chat tra i due cervelli. Dopo questa prima fusione, un secondo Transformer mescola ancora più a fondo le informazioni, prima di decidere la classe finale con un semplice perceptron. I risultati sono impressionanti: precisioni superiori al 92% su quattro dataset internazionali, con performance migliori rispetto ai metodi tradizionali. Inoltre, il modello è robusto, adattabile e non richiede milioni di parametri, il che lo rende pratico per applicazioni reali come il monitoraggio ambientale o la pianificazione urbana.

Il cuore del CSTC è il Vision Transformer (ViT), che suddivide l’immagine in patch e le tratta come parole di una frase. In questo contesto, le patch HSI e LiDAR diventano token con informazioni spettrali o di elevazione. Il modulo di cross‑attention calcola matrici Q (query), K (key) e V (value) per ciascun token, permettendo al modello di pesare quanto ogni elemento di un modality debba influenzare l’altro. Questa operazione è cruciale perché le differenze di scala tra HSI (centinaia di bande) e LiDAR (singola mappa di elevazione) rendono difficile una fusione tradizionale. L’uso della PCA sul ramo HSI riduce la dimensionalità preservando la varianza più alta, evitando l’esplosione di parametri. MobileNetV2, con le sue bottleneck invertite, fornisce una rappresentazione compatta ma ricca delle strutture spaziali LiDAR. Dopo la prima fusione, il secondo Transformer opera su una sequenza concatenata di token, consentendo interazioni di alto livello tra le due modalità. Il classificatore finale è un MLP a più strati, che sfrutta le rappresentazioni apprese per mappare ogni pixel a una classe di terreno. Gli esperimenti mostrano che il CSTC mantiene alte performance anche con dataset sbilanciati, grazie alla capacità del Transformer di modellare dipendenze a lungo raggio e di gestire rumore. Inoltre, il numero totale di parametri è inferiore a 10 M, rendendo il modello adatto a hardware limitato, come i sistemi di bordo dei droni.