Come può l'IA prevedere dati mancanti in tempo reale?

Quando i dati arrivano in ritardo, le decisioni rischiano di basarsi su informazioni incomplete. Il nowcasting è la tecnica che usa quello che è già disponibile per stimare il quadro completo. In un nuovo studio, gli autori propongono di inserire il nowcasting in un ciclo di Expectation‑Maximisation (EM), una procedura statistica che alterna due fasi: una di stima (E) e una di ottimizzazione (M).

La novità sta nel sostituire i tradizionali modelli lineari con algoritmi di machine learning, come le reti neurali e XGBoost, per modellare sia l'occorrenza dell'evento sia il suo ritardo di segnalazione. Grazie a queste reti, il modello può gestire centinaia di variabili (età, zona, condizioni climatiche, ecc.) senza doverle semplificare.

Durante la fase E, il modello stima quanti eventi non ancora segnalati sono già accaduti, basandosi sui pattern appresi. Nella fase M, i parametri della rete neurale o di XGBoost vengono aggiornati per migliorare la previsione. Il ciclo si ripete finché le stime non cambiano più.

I test su dati simulati mostrano che, quando le relazioni tra variabili sono non lineari, il nuovo approccio supera i metodi EM tradizionali. L’applicazione reale riguarda i casi di Covid‑19 in Argentina: anche lì, XGBoost ha fornito le previsioni più accurate, riducendo l’errore di nowcasting del 15 % rispetto ai modelli lineari.

Questo lavoro dimostra che combinare EM e machine learning può rendere le previsioni più rapide e precise, utili in ambiti come la sanità, la finanza o la gestione delle emergenze.

L’algoritmo EM tradizionale massimizza la verosimiglianza completa ε(θ|X,Y) calcolando l’attesa della log‑verosimiglianza rispetto alla distribuzione posteriore dei dati mancanti. Quando si introducono modelli non lineari, la funzione di verosimiglianza non è più convessa, rendendo difficile la ricerca di un massimo globale con metodi di tipo Newton‑Raphson. L’uso di reti neurali o gradient boosting consente di approssimare la funzione di verosimiglianza mediante funzioni di perdita differenziabili (ad es. cross‑entropy per classificazione binaria). Durante la fase M, l’ottimizzazione avviene tramite back‑propagation (per le reti) o gradient boosting (per XGBoost), sfruttando algoritmi di discesa del gradiente con regolarizzazione L2 per evitare overfitting. Inoltre, la struttura a “boosted trees” permette di catturare interazioni di ordine superiore tra covariate senza esplicite trasformazioni. Per la fase E, si calcola l’aspettativa E[Z|X,θ^{(t)}] dove Z rappresenta gli eventi non ancora segnalati; questa si ottiene tramite la distribuzione predittiva del modello M, tipicamente una Bernoulli con probabilità p_i(θ^{(t)}). L’intero ciclo EM è iterato fino a convergenza, monitorando la variazione della log‑verosimiglianza o della loss function. In scenari ad alta dimensionalità, è cruciale implementare tecniche di early stopping e cross‑validation per garantire stabilità e generalizzazione del modello. L’applicazione a dati epidemiologici richiede inoltre la gestione di autocorrelazioni temporali, spesso modellate con componenti ARIMA o con architetture di rete ricorrente (RNN/LSTM) integrate nel passo M, migliorando la capacità predittiva su serie temporali con ritardi di reporting.