Come scegliere le variabili più importanti con il φ‑test?

Immagina di avere un modello di intelligenza artificiale che predice il prezzo di una casa, ma non sai quali caratteristiche (numero di stanze, distanza dal centro, ecc.) siano davvero decisive. Il φ‑test è una nuova tecnica che combina le spiegazioni di SHAP, già famose per attribuire un valore a ogni variabile, con la statistica selettiva, cioè un metodo che controlla rigorosamente la significatività dei risultati.

Partendo da un modello già addestrato e da un set di dati di valutazione, il φ‑test usa le attribuzioni SHAP per fare una prima scrematura: elimina le variabili con contributi trascurabili. Poi costruisce un modello lineare di supporto (surrogate) solo con le variabili rimaste, applicando una regola di selezione che permette di calcolare p‑value e intervalli di confidenza corretti, anche dopo aver scelto le variabili.

Il risultato è una tabella globale che, per ogni variabile selezionata, mostra: (i) un punteggio globale basato su SHAP, (ii) il coefficiente del modello lineare e (iii) le misure di inferenza statistica. Nei test su dataset reali di regressione tabellare, usando alberi decisionali o reti neurali, il φ‑test riesce a mantenere gran parte della capacità predittiva del modello originale usando solo poche variabili. Inoltre, le selezioni risultano stabili quando si cambiano i campioni o il tipo di modello di base. In pratica, il φ‑test funge da “strato di spiegazione globale”, collegando le intuizioni di SHAP con la solidità della statistica classica.

Il φ‑test si basa su due pilastri teorici: le attribuzioni di Shapley e la selective inference. Le prime, introdotte da Lloyd Shapley nel 1953, forniscono un valore di contributo equo per ogni feature, calcolando la media marginale su tutte le possibili permutazioni di inserimento delle variabili. In pratica, SHAP stima quanto la previsione cambierebbe se una feature fosse aggiunta o rimossa, tenendo conto delle interazioni con le altre.

La selective inference, invece, affronta il problema classico della “p‑value inflation” che si verifica quando si testano ipotesi dopo aver scelto i dati. Tradizionalmente, i test statistici assumono che le ipotesi siano fissate a priori; se si selezionano le variabili prima di testare, i p‑value risultano troppo ottimistici. La selective inference corregge questo bias calcolando la distribuzione condizionata dell’estimatore dato il processo di selezione.

Nel φ‑test, le SHAP values guidano una prima fase di screening: si fissano soglie (ad esempio il 95° percentile) per scartare le feature con contributi trascurabili. Le feature rimanenti vengono poi inserite in un modello lineare di supporto, tipicamente una regressione LASSO o ridge, con una regola di selezione (ad esempio il “knockoff filter” o il “post‑selection inference” di Lee et al.). Questa regola è progettata per avere una forma di inferenza selettiva chiusa, cioè per cui è possibile derivare p‑value e intervalli di confidenza esatti.

Il risultato è una tabella globale dove ogni riga contiene: (1) il valore medio SHAP (global importance), (2) il coefficiente β del modello lineare (che indica la direzione e l’entità dell’effetto), e (3) il p‑value post‑selection. Gli intervalli di confidenza sono costruiti condizionando sull’evento di selezione, garantendo copertura nominale.

Le sperimentazioni mostrano che, su dataset come “California Housing” o “Bike Sharing”, il φ‑test riesce a ridurre il numero di feature da decine a pochi, mantenendo R² simili a quelli del modello originale. Inoltre, la stabilità delle selezioni è valutata tramite bootstrapping: la frequenza con cui una feature appare nella top‑k è alta (>80%). Questo suggerisce che il φ‑test non solo è interpretabile, ma anche robusto rispetto a variazioni nei dati o nella scelta del modello di base.

Infine, il φ‑test può essere integrato in pipeline di machine learning esistenti: dopo l’addestramento del modello black‑box, si esegue il φ‑test per ottenere una spiegazione globale e, se necessario, si costruisce un modello più snello basato solo sulle feature selezionate, riducendo costi computazionali e migliorando la trasparenza.