Come si può unire l’incertezza di più modelli in una sola previsione?

Immagina di avere diversi amici esperti che ti danno consigli su una stessa decisione: ognuno è bravo, ma le loro opinioni variano. In ambito di intelligenza artificiale succede lo stesso con i modelli predittivi. Quando più algoritmi, allenati sullo stesso compito, forniscono risultati diversi, è fondamentale capire quanto siano sicuri. Qui entra in gioco la "conformal prediction" (CP), una tecnica che crea insiemi di predizione con una garanzia statistica di copertura.

Il nuovo metodo SACP – Symmetric Aggregated Conformal Prediction – propone di raccogliere i punteggi di non conformità (i valori che indicano quanto una previsione si discosta dai dati) di tutti i modelli, trasformarli in e‑value (una specie di probabilità invertita) e combinarli con una funzione di aggregazione simmetrica, come la media o la mediana. Questa flessibilità permette di scegliere la strategia più adatta al dataset, ottenendo insiemi di predizione più stretti ma ancora affidabili.

Gli autori hanno testato SACP su diversi set di dati, sia di regressione che di classificazione, e hanno osservato un miglioramento costante dell’efficienza rispetto ai metodi di aggregazione tradizionali. In pratica, SACP rende le previsioni più precise senza sacrificare la sicurezza statistica, aprendo la porta a applicazioni dove l’incertezza è cruciale, come la medicina, la finanza o la robotica.

SACP si basa su due concetti chiave: i non‑conformity scores (NCS) e gli e‑value. I NCS, tipicamente calcolati come distanza tra la risposta osservata e la distribuzione predetta, quantificano quanto una singola osservazione si discosta dal modello. In un contesto di conformal prediction, questi punteggi vengono ordinati per costruire un intervallo di copertura con livello 1‑α.

La trasformazione in e‑value è ispirata al framework delle evidenze bayesiane, dove un e‑value è una variabile aleatoria non negativa con valore atteso ≤ 1 sotto l’ipotesi nulla. Convertire i NCS in e‑value consente di sfruttare le proprietà di additività e di combinazione tramite funzioni simmetriche, garantendo che la validità della CP sia preservata anche dopo l’aggregazione.

La scelta della funzione di aggregazione è cruciale. Funzioni come la media aritmetica, la mediana o la media geometrica offrono diversi trade‑off tra robustezza a outlier e sensibilità alle variazioni dei modelli. La simmetria garantisce che l’ordine dei modelli non influisca sul risultato finale, rendendo il metodo adatto a scenari con un numero variabile di predittori.

Dal punto di vista teorico, gli autori dimostrano che, sotto ipotesi di scambioabilità dei punteggi, l’aggregazione simmetrica mantiene la copertura marginale desiderata. Inoltre, forniscono limiti di dimensione dell’intervallo predetto, mostrando che SACP può produrre insiemi più stretti rispetto a metodi basati su union o intersection di set individuali.

Empiricamente, SACP è stato valutato su benchmark come UCI, MNIST e CIFAR‑10, con modelli base che includono Random Forest, Gradient Boosting e reti neurali profonde. I risultati indicano una riduzione media del 10‑15% nella lunghezza dei set predetti, mantenendo la copertura al 95% richiesto. Questo rende SACP particolarmente interessante per applicazioni ad alta affidabilità, dove ogni riduzione di incertezza può tradursi in decisioni più informate.