Come un transformer leggero può disegnare le città dal cielo?

Immagina di volare sopra una città e, con una foto ultra‑dettagliata, riconoscere ogni edificio. È quello che fa DeepSwinLite, un nuovo modello di intelligenza artificiale basato sul Swin Transformer. A differenza dei grandi network che richiedono centinaia di milioni di parametri, DeepSwinLite è “light”: usa meno calcoli e occupa meno memoria, ma resta molto preciso. Come funziona? Il modello combina tre trucchi: 1) il Multi‑Scale Feature Aggregation (MSFA) raccoglie informazioni da diverse dimensioni, così riconosce sia case piccole che grattacieli alti; 2) il Multi‑Level Feature Pyramid (MLFP) mescola dettagli minuti con concetti più generali, migliorando la comprensione del contesto; 3) l’AuxHead fornisce una supervisione extra durante l’addestramento, rendendo l’apprendimento più stabile. Testato su due dataset famosi – quello del Massachusetts e quello WHU – DeepSwinLite ha superato i metodi più avanzati, raggiungendo un’accuratezza globale (OA) del 92,5% e un IoU del 77,9% sul primo, e addirittura il 98,3% di OA e 92,0% di IoU sul secondo. Dopo aver corretto errori nei dati di riferimento del Massachusetts, le performance sono salite a 94,6% di OA e 79,9% di IoU. Oltre ai risultati, il vero punto forte è la rapidità: il modello richiede meno FLOP e parametri, il che lo rende ideale per smartphone o droni con risorse limitate. In pratica, DeepSwinLite può aiutare urbanisti, soccorritori e ricercatori a mappare rapidamente le strutture urbane, anche in situazioni di emergenza, senza dover ricorrere a supercomputer.

DeepSwinLite sfrutta l’architettura Swin Transformer, che suddivide l’immagine in finestre locali (window‑based self‑attention) e poi le combina gerarchicamente. Il modulo local‑global attention introdotto in questo lavoro permette lo scambio di informazioni tra finestre di diverse scale, mitigando il problema della perdita di contesto tipico dei transformer puramente locali. La fase di Multi‑Scale Feature Aggregation utilizza convoluzioni a diverse risoluzioni per creare una piramide di feature map, garantendo che i pattern di dimensioni variabili vengano catturati. Il Multi‑Level Feature Pyramid, invece, implementa una fusione top‑down e bottom‑up, ispirata ai Feature Pyramid Networks, per integrare semantica alta con dettagli spaziali. L’AuxHead, inserito dopo il blocco di codifica, genera una perdita ausiliaria (auxiliary loss) che regolarizza il gradiente, accelerando la convergenza e riducendo l’over‑fitting. Dal punto di vista computazionale, DeepSwinLite riduce i FLOPs di circa il 30% rispetto a Swin‑Base, grazie a una riduzione del numero di teste di attenzione e a una dimensione di embedding più contenuta (96 vs 128). I parametri totali scendono sotto i 12 M, rendendo il modello adatto a inferenza su GPU mobile o CPU embedded. L’addestramento è stato effettuato con data augmentation avanzata (rotazioni, flip, jitter di colore) e ottimizzato con AdamW (lr = 1e‑4, weight decay = 0.01). Le metriche OA (Overall Accuracy) e IoU (Intersection over Union) sono state calcolate su maschere binarie di edifici, evidenziando una robustezza superiore anche su scene con ombre marcate e vegetazione densa. Il codice è rilasciato sotto licenza MIT, favorendo la replicabilità e l’estensione da parte della community.