SIVI: può una rete neurale imitare la statistica perfetta?

Immagina di voler capire la forma di una nuvola senza poterla osservare direttamente. In statistica, questo è il problema di ricostruire una distribuzione di probabilità a partire da dati limitati. Una tecnica chiamata Semi‑Implicit Variational Inference, o SIVI, propone una soluzione creativa: combina due ingredienti – un “kernel” parametrico che genera campioni e una base di miscelazione fissa e semplice – per costruire una distribuzione approssimativa.

Il punto forte di SIVI è la sua capacità di avvicinarsi a qualsiasi distribuzione reale, a patto che soddisfi due condizioni: una “universalità L1” che garantisce densità nello spazio delle funzioni, e una leggera restrizione sui code (le code sono le parti estreme della distribuzione). Se queste condizioni valgono, l’errore di Kullback‑Leibler (una misura di distanza tra distribuzioni) può diventare arbitrariamente piccolo.

Tuttavia, gli autori hanno scoperto due ostacoli che impediscono una perfetta approssimazione. Il primo è una “mismatch delle code” descritta con funzioni di Orlicz: se le code del kernel e della base non coincidono, rimane un gap positivo di KL. Il secondo riguarda la struttura del kernel: ad esempio, un kernel gaussiano non autoregressivo può provocare il “branch collapse”, cioè una perdita di varietà nei campioni generati. Per ciascun ostacolo è proposta una piccola modifica strutturale che riporta SIVI alla piena capacità di approssimazione.

Sul versante dell’ottimizzazione, il lavoro dimostra che, aumentando il numero di campioni (n) e il numero di componenti del kernel (K), la funzione obiettivo empirica converge verso quella teorica. Questo garantisce che i massimizzatori trovati in pratica siano consistenti e che l’errore introdotto dal numero finito di componenti sia controllabile. In sintesi, il nuovo quadro teorico spiega quando SIVI riesce a ricostruire la distribuzione target e quando, a causa di scelte architetturali o algoritmiche, non può farlo.

Il quadro teorico proposto parte dalla definizione formale di una famiglia semi‑implicita: $q(\theta)=\int k(\theta\mid z)\,r(dz)$. Qui $k(\cdot\mid z)$ è un kernel parametrico, tipicamente una rete neurale che mappa un latente $z$ in uno spazio di parametri $\theta$, mentre $r$ è una misura di base, spesso una distribuzione gaussiana standard. La densità $q$ è quindi una convoluzione di due misure, il che la rende più flessibile rispetto a una semplice famiglia parametrica.

Dal punto di vista dell'approssimazione, la proprietà di "compact L1‑universality" richiede che l'insieme dei kernel $\{k(\cdot\mid z)\}$ sia denso in $L^1$ su spazi compatti. In pratica, per ogni funzione di densità $p(\theta)$ e per ogni $\varepsilon>0$, esiste una scelta di parametri del kernel e della base tale che $\|q-p\|_{L^1}<\varepsilon$. La condizione di "tail‑dominance" assicura che le code di $q$ non siano più pesanti di quelle di $p$, evitando divergenze di KL dovute a eventi rari.

Le due barriere identificate sono: (i) la condizione di Orlicz, che formalizza il mismatch tra le code di $k$ e $r$. Se $\int \Phi(|\theta|)\,k(\theta\mid z)\,d\theta$ diverge per una funzione di crescita $\Phi$, il KL forward non può annullarsi. (ii) Restrizioni strutturali, come kernel gaussiano non autoregressivo, che impongono una dipendenza lineare tra le componenti di $\theta$, portando al fenomeno di "branch collapse" dove la varianza condizionale si annulla. La soluzione proposta è introdurre dipendenze autoregressive o kernel non‑gaussiani, aumentando la capacità espressiva.

Sul fronte dell'ottimizzazione, gli autori dimostrano che la sequenza di obiettivi empirici $L(K,n)$ $\Gamma$‑converge al limite teorico $L(\infty,\infty)$. La $\Gamma$‑convergenza garantisce che i minimizzatori (o massimizzatori) della versione campionata convergano a quelli della versione popolazione, fornendo consistenza statistica. Inoltre, le disuguaglianze oracolo forniscono bound finiti su $\|q_{\hat{\theta}}-p\|_{KL}$ in termini di $K$ e $n$, evidenziando come l'errore di bias diminuisca con $K\to\infty$ e la varianza con $n\to\infty$. Questo porta a una teoria end‑to‑end che collega architettura (scelta di kernel e base), algoritmo (numero di iterazioni, batch size) e performance statistica finale.

In conclusione, il lavoro stabilisce criteri precisi per la densità di approssimazione, identifica le limitazioni strutturali e fornisce garanzie di convergenza ottimale, aprendo la strada a implementazioni SIVI più robuste in modelli complessi di apprendimento automatico.