E se un LLM disegnasse l'architettura neurale perfetta per l'IA del traffico?

Immagina un'IA che deve guidare il traffico in una città mista, dove auto autonome e umane convivono. Per decidere, deve "leggere" tutto insieme: dati dai sensori, flussi video delle telecamere, serie storiche dei veicoli e persino istruzioni testuali. Fondere queste fonti diverse in un'unica rappresentazione utile (lo "state encoding\)) è un rompicapo che finora richiedeva mesi di tentativi manuali.

Ora, un team di ricercatori ha automatizzato la ricerca dell'architettura neurale ideale (NAS) usando proprio un Large Language Model (LLM). Invece di provare a caso migliaia di combinazioni, l'LLM sfrutta le sue conoscenze pregresse sul codice e sull'architettura dei modelli per suggerire le strutture più promettenti. Il trucco in più? Il sistema "ascolta" la qualità delle rappresentazioni intermedie prodotte da ogni modulo (sensori, immagini, testo) mentre cerca, guidando la scelta verso fusioni più efficaci.

Testato su un simulatore di controllo del traffico ad autonomia mista, questo approccio ha scoperto architetture migliori dei metodi NAS classici e persino del framework GENIUS, valutando molti meno candidati. Significa IA più intelligenti, addestrate più in fretta e con meno risorse. Un passo avanti per robotica, guida autonoma e qualsiasi sistema debba dare senso a un mondo multimodale.

Il paper formalizza la progettazione di encoder di stato multi-sorgente come un problema di Neural Architecture Search (NAS) composito. Lo spazio di ricerca include moduli specifici per sorgente (es. CNN per immagini, RNN/Transformer per serie temporali, encoder testuali) e un modulo di fusione. La novità principale è l'uso di un LLM come controller della ricerca (LLM-driven NAS).

A differenza dei controller RL tradizionali (es. REINFORCE) o dei metodi gradient-based (DARTS), l'LLM genera codice PyTorch per candidate architectures sfruttando il "priore" appreso durante il pre-training su vasti corpus di codice e letteratura scientifica. Questo riduce drasticamente lo spazio di ricerca effettivo.

L'innovazione chiave per l'efficienza dei campioni è l'uso di "segnali di output intermedi\). Durante la valutazione parziale di un'architettura candidata, il sistema estrae metriche sulla qualità delle rappresentazioni latenti di ogni ramo (es. dimensionalità intrinseca, mutual information con la reward, ortogonalità). Questi segnali vengono iniettati nel prompt dell'LLM per la generazione dell'iterazione successiva, permettendo un "ragionamento" su perché una certa fusione funziona o fallisce.

L'esperimento su Mixed-Autonomy Traffic Control (benchmark Flow/ SUMO) mostra che il metodo supera Random Search, REINFORCE, DARTS e GENIUS (SOTA LLM-NAS) in termini di reward finale e campioni necessari. L'ablation study conferma che sia il priore LLM che i segnali intermedi contribuiscono significativamente. Questo apre la strada all'automazione del feature engineering per agenti RL multimodali complessi.