Perché gli interpolatori casuali possono imparare senza errori?

Immagina di avere un insegnante (teacher) che genera dati perfetti e uno studente (student) che deve imparare da loro. In questo scenario, gli scienziati hanno scoperto che, se lo studente usa un "interpolatore" – un modello che si adatta esattamente a tutti i punti di addestramento – l'errore di generalizzazione può scendere a zero non appena il numero di esempi supera una certa soglia.

La scoperta è sorprendente perché non dipende da trucchi di ottimizzazione come lo Stochastic Gradient Descent, ma nasce dalla struttura geometrica dei parametri del modello. Usando la geometria algebrica, i ricercatori hanno mappato lo spazio delle soluzioni possibili e hanno mostrato che, oltre un certo numero di campioni, le soluzioni casuali si trovano tutte in una zona dove il modello predice perfettamente anche dati non visti.

Questo risultato aiuta a capire perché reti neurali enormi, con milioni di parametri, riescono a generalizzare bene anche se sembrano sovradimensionate. In pratica, più dati si forniscono, più il “gioco” delle soluzioni si restringe a quelle che non commettono errori, indipendentemente da come le si scelga. Una lezione importante per chi studia intelligenza artificiale: a volte la magia è nella forma dello spazio dei parametri, non solo nell’algoritmo di apprendimento.

Nel contesto teacher‑student, il modello teacher genera un insieme di output y = f_T(x) per input x scelti da una distribuzione P(x). Lo studente utilizza una classe di funzioni f_S(·;θ) parametrizzata da θ∈ℝ^p. Un interpolatore è una scelta di θ tale che f_S(x_i;θ)=y_i per tutti i N campioni di addestramento. La dimostrazione parte dal fatto che l'insieme degli interpolatori forma una varietà algebrica V⊂ℝ^p definita da N equ{azioni polinomiali} (o razionali) derivanti dalle condizioni di interpolazione. Utilizzando il teorema di Krull dimensionale, si mostra che la dimensione di V diminuisce di almeno N quando N cresce, finché non si raggiunge la dimensione zero: V diventa un insieme finito di punti isolati. Quando la dimensione di V è zero, ogni punto di V soddisfa le equazioni di interpolazione e, per costruzione, è anche una soluzione del problema di apprendimento in senso più ampio, poiché la funzione teacher è contenuta nella chiusura algebrica della classe studente. Di conseguenza, per N≥N_* (dove N_* è il minimo intero tale che dim(V)=0), ogni interpolatore casuale è quasi sicuramente identico a f_T su tutto il supporto di P(x), garantendo errore di generalizzazione esattamente zero. La soglia N_* dipende dalla complessità algebrica della classe studente, tipicamente proporzionale al grado totale dei polinomi che descrivono f_S. Questo approccio collega la capacità di generalizzazione a proprietà topologiche della varietà di soluzioni, aprendo nuove strade per analizzare modelli iper‑parametrizzati senza ricorrere a bias impliciti di ottimizzatori.