Come possono i sensori “eventi” svelare gli oggetti più piccoli in condizioni di luce estreme?

Rilevare piccoli oggetti in movimento quando la luce è troppo forte o troppo debole è una sfida per le telecamere tradizionali. Immagina una telecamera di sorveglianza che, sotto il sole cocente, non riesce a distinguere un drone che vola vicino a un albero. Per superare questo limite, ricercatori di Remote Sensing hanno combinato due tipi di sensori: il classico RGB, che cattura colori e dettagli, e il nuovo sensore “eventi”, capace di registrare solo i cambiamenti di luminosità in tempo reale. Il risultato è un sistema di fusione RGB‑Event che usa due moduli chiave. Il primo, Temporal Multi‑Scale Attention Fusion (TMAF), analizza i dati degli eventi a diverse velocità temporali, evidenziando i movimenti più rapidi dei piccoli oggetti. Il secondo, Sparse Noisy Gated Attention Fusion (SNGAF), funziona come un gruppo di esperti: sceglie, in modo sparso, quali esperti usare a seconda della scena, evitando rumore e migliorando la precisione. Per testare il metodo, gli autori hanno creato il dataset RGBE‑UAV, con video di droni in condizioni di sovra‑ e sotto‑esposizione. I risultati mostrano che il nuovo approccio supera le soluzioni esistenti sia sul nuovo dataset sia su quello pubblico DSEC‑MOD, dimostrando una maggiore robustezza in ambienti di luce difficili. Questa ricerca apre la porta a sistemi di visione più affidabili per la sicurezza, la guida autonoma e il monitoraggio aereo.

Il sensore event‑based, noto anche come Dynamic Vision Sensor (DVS), opera in modalità asincrona: ogni pixel genera un “evento” solo quando rileva una variazione di intensità superiore a una soglia predefinita. Questo approccio riduce drasticamente il flusso di dati rispetto a una tradizionale fotocamera a frame, consentendo una latenza dell'ordine dei microsecondi e una maggiore dinamica di esposizione. Nel modello proposto, i dati RGB e gli eventi sono prima allineati spazialmente mediante una calibrazione intrinseca ed estrinseca, poi passati a due rami di rete separati. Il ramo RGB utilizza una backbone CNN (es. ResNet‑50) per estrarre caratteristiche di alto livello, mentre il ramo eventi impiega una rete spiking o una CNN 3‑D per catturare la struttura temporale dei picchi di attività. Il modulo TMAF applica una serie di finestre temporali (es. 1 ms, 5 ms, 20 ms) su ciascun flusso di eventi, generando mappe di attenzione che pesano maggiormente le regioni con variazioni rapide. Queste mappe sono poi fuse con le mappe di attivazione RGB mediante concatenazione e convoluzioni 1×1. Il SNGAF, ispirato al mixture‑of‑experts, contiene N esperti di fusione (ad es. concatenazione, somma ponderata, cross‑attention). Un gating network, implementato con una softmax sparsa, seleziona i top‑K esperti in base a metriche di contrasto e rumore, riducendo il carico computazionale e limitando l’influenza di eventi rumorosi. L’addestramento avviene con una loss combinata: cross‑entropy per la classificazione degli oggetti e un termine di regolarizzazione L0 sul gating per incentivare la sparsità. Il dataset RGBE‑UAV è stato raccolto con una fotocamera RGB (30 fps) e un DVS (1 M eventi/s) sincronizzati su scenari urbani e rurali, includendo variazioni di esposizione da -3 a +3 EV. Le metriche di valutazione (mAP, IoU) mostrano un miglioramento medio del 7 % rispetto a metodi RGB‑only e del 4 % rispetto a fusioni lineari precedenti, confermando l’efficacia della multi‑scale attention e del gating sparso nella gestione di condizioni di luce estreme.