Conformal Optimistic Prediction: è possibile prevedere con meno margine di errore?

La Conformal Prediction è una tecnica che crea insiemi di previsione garantendo una certa probabilità di copertura, senza fare assunzioni sulla distribuzione dei dati. In ambienti online, dove i dati arrivano in tempo reale e possono cambiare improvvisamente, i metodi tradizionali tendono a produrre intervalli molto ampi per non rischiare di sbagliare. Il nuovo algoritmo Conformal Optimistic Prediction (COP) cerca di fare di meglio. COP osserva i punteggi di non‑conformità (quanto una nuova osservazione si discosta dal modello) e, stimando la loro funzione di distribuzione cumulativa, adatta dinamicamente la larghezza dell’intervallo. Se i dati mostrano un pattern prevedibile, gli intervalli si restringono, ma la copertura rimane garantita anche quando la stima è imprecisa. Gli autori dimostrano un limite congiunto su copertura e “regret”, confermando la validità teorica del metodo. Inoltre, COP mantiene la copertura distribuzione‑free a campioni finiti, indipendentemente dal tasso di apprendimento, e converge quando i punteggi sono i.i.d. I test sperimentali mostrano che COP ottiene intervalli più brevi rispetto a metodi concorrenti, senza sacrificare la copertura. In pratica, questo significa previsioni più precise per applicazioni come il monitoraggio di sensori, la finanza o l’analisi di flussi di dati in tempo reale, dove la rapidità e l’affidabilità sono cruciali.

Il cuore di COP è la stima della funzione di distribuzione cumulativa (CDF) dei punteggi di non‑conformità. In pratica, si costruisce una funzione empirica F̂(t)=\frac{1}{n}\sum_{i=1}^{n}\mathbf{1}\{s_i\le t\}, dove s_i sono i punteggi osservati. Questa CDF permette di calcolare, per un livello di copertura 1-α, il quantile q_{1-α}=\inf\{t: F̂(t)\ge 1-α\}. L’intervallo di previsione è poi centrato sul modello corrente e ha raggio proporzionale a q_{1-α}. La novità di COP è introdurre un fattore di ottimismo: si combina la CDF empirica con una previsione basata su un modello di trend (ad esempio una media mobile o un modello ARIMA) per anticipare la forma della distribuzione futura. Questo approccio riduce la varianza dell’intervallo quando il pattern è stabile, ma mantiene una “safety net” tramite una soglia minima di larghezza, garantendo la copertura anche se la previsione è errata. Dal punto di vista teorico, gli autori dimostrano che, per qualsiasi sequenza di dati, la copertura è almeno 1-α (bound di copertura) e che il regret, definito come la differenza cumulativa tra la larghezza dell’intervallo di COP e quella dell’intervallo ottimale a conoscenza della vera distribuzione, è limitato da O(\sqrt{n}). Inoltre, sotto l’assunzione i.i.d. dei punteggi, la CDF empirica converge quasi sicuramente alla vera CDF, facendo sì che gli intervalli di COP si avvicinino a quelli ottimali. La flessibilità di COP consente di scegliere diversi tassi di apprendimento η_t per aggiornare la CDF, da costanti a decrescenti, senza violare la garanzia di copertura. Questo lo rende adatto a scenari con cambiamenti rapidi (high η) o stabili (low η). Infine, le sperimentazioni includono dataset di regressione sintetica e reale (ad esempio, previsioni di consumo energetico), mostrando riduzioni del 10‑20% nella lunghezza media degli intervalli rispetto a metodi come Adaptive Online Conformal Prediction o Split Conformal, mantenendo la copertura entro 1‑2% dal target.