Come si può programmare l'ottimizzatore perfetto per l'apprendimento veloce?

Immagina di avere un robot che, ogni volta che gli mostri un problema, sceglie l'azione più efficace per risolverlo. Nel mondo del machine learning, quel robot è l'ottimizzatore: trasforma il gradiente della perdita in un passo di aggiornamento dei parametri. Un gruppo di ricercatori ha appena proposto un modo per “progettare” questi robot in modo automatico, partendo da un principio semplice: massimizzare la diminuzione istantanea della perdita.

Il trucco sta nel vedere l'ottimizzatore come una funzione che, data la direzione del gradiente, decide quanto muoversi. Questo porta a una serie di problemi di ottimizzazione convessa, cioè più facili da risolvere, che possono essere affrontati con diversi vincoli. Il risultato? Molti degli ottimizzatori più usati (come Adam, RMSprop o SGD) ricompaiono come soluzioni chiuse, ma con iper‑parametri ottimizzati per il compito specifico.

In pratica, durante l'addestramento il modello raccoglie statistiche sui gradienti e, in tempo reale, ricalcola i parametri dell'ottimizzatore per adattarsi al meglio. È come se il robot imparasse a migliorare il proprio modo di muoversi mentre corre. Questo approccio promette non solo di semplificare la scelta dell'ottimizzatore, ma anche di accelerare l'addestramento, riducendo il tempo necessario per trovare soluzioni di alta qualità.

Il quadro teorico proposto si basa sul principio greedy, che massimizza la riduzione locale della funzione di perdita L(θ). Formalmente, si definisce un'operatore O che mappa il gradiente g=∇_θL in un passo di aggiornamento Δθ=O(g). Il problema di progettazione diventa: \[ \max_{O\in\mathcal{O}} \; -\langle g, O(g)\rangle - \frac{1}{2}\|O(g)\|^2, \] soggetto a vincoli di regolarità (ad esempio Lipschitz continuity) e di struttura (ad esempio forme lineari o quadratiche). Questa formulazione è convessa perché la funzione obiettivo è quadratica in O(g) e le restrizioni sono affini.

Risolvendo il problema con vincoli di tipo \(\|O(g)\|\leq \alpha\|g\|\) si ottiene la famiglia di ottimizzatori di tipo momentum, con il coefficiente di momentum derivato direttamente dalla statistica var(g). Inserendo una penalizzazione sull'energia spesa, \(\lambda\|O(g)\|^2\), si ricava Adam come soluzione chiusa, con i parametri \(\beta_1,\beta_2\) ottimizzati in funzione delle prime due momenti dei gradienti.

Un aspetto innovativo è la possibilità di aggiornare O dinamicamente: ad ogni minibatch si stima la matrice di covarianza Σ_g dei gradienti, si risolve il problema convesso locale e si aggiorna O. Questo porta a un algoritmo di meta‑ottimizzazione online, capace di adattarsi a cambiamenti nella curvatura della superficie di perdita. Le sperimentazioni preliminari mostrano miglioramenti di convergenza del 10‑20% rispetto a ottimizzatori statici su benchmark standard (CIFAR‑10, ImageNet). La ricerca futura includerà estensioni a spazi di parametri non Euclidei e a funzioni di perdita non smooth.