Come può un'auto intelligente imparare a seguire curve perfette?

Immagina un’auto che sa anticipare le curve come un pilota esperto, anche quando la strada cambia improvvisamente. Gli scienziati hanno creato un nuovo controllore, chiamato DQN‑AP‑MPC, che combina due tecniche avanzate: il Model Predictive Control (MPC) e il Deep Q‑Network (DQN). Il primo, l’MPC, prevede il futuro del veicolo in base a un orizzonte temporale, ma se questo orizzonte è fisso, l’auto può perdere precisione quando la velocità o la curvatura cambiano. Per risolvere, gli autori hanno introdotto un orizzonte adattivo, modellato con una funzione gaussiana a due dimensioni, che si allunga o si accorcia in tempo reale a seconda di quanto è veloce l’auto e di quanto è tortuosa la strada.

Il secondo tassello è il DQN, un algoritmo di reinforcement learning che regola dinamicamente la matrice dei pesi dell’MPC. Così l’auto non solo prevede meglio il percorso, ma aggiusta anche l’importanza delle varie variabili di controllo, migliorando stabilità e rapidità di convergenza. I test in simulazione hardware‑in‑the‑loop e su veicoli reali hanno mostrato risultati sorprendenti: su strade a curvatura variabile e ad alta velocità, l’errore laterale massimo è diminuito del 76,8% e l’errore medio del 64,4% rispetto a un MPC tradizionale. In pratica, l’auto resta più aderente alla traiettoria, anche su doppie corsie e curve imprevedibili, aprendo la strada a veicoli autonomi più sicuri e reattivi.

Il cuore del DQN‑AP‑MPC è la sinergia tra predizione modellistica e apprendimento per rinforzo. L'MPC risolve un problema di ottimizzazione quadratica ricorrente, minimizzando una funzione di costo J = Σ (x_k^T Q x_k + u_k^T R u_k) su un orizzonte N, dove x_k è lo stato (posizione laterale, velocità, angolo di imbardata) e u_k il controllo (sterzo, accelerazione). Tradizionalmente, N è fisso, ma la scelta di N influisce sulla capacità di anticipare dinamiche rapide: un N piccolo è veloce ma poco prevedibile, un N grande è più accurato ma computazionalmente oneroso. La strategia adattiva usa una gaussiana G(v, κ) = exp[-(α(v−v_0)^2 + β(κ−κ_0)^2)], dove v è la velocità e κ la curvatura della strada. I parametri α, β calibrano l’allungamento dell’orizzonte: su strade dritte (κ≈0) e basse velocità, G è piccola e N si riduce; su curve strette e alte velocità, G aumenta e N si espande, garantendo più passi di previsione.

Il DQN, invece, apprende una politica π(s) → a che mappa lo stato corrente s (comprendente errori di tracciamento, variazioni di curvatura, velocità) a un’azione a, cioè una modifica dei pesi Q e R dell'MPC. L'agente DQN utilizza una rete neurale profonda per approssimare la funzione Q(s,a), aggiornandola con la regola di Bellman: Q(s,a)←Q(s,a)+η[r+γ max_a' Q(s',a')−Q(s,a)], dove r è la ricompensa basata sulla riduzione dell'errore laterale. L'addestramento avviene in simulazione, con replay buffer e target network per stabilizzare l’apprendimento. Il risultato è una matrice di pesi dinamica che enfatizza la riduzione dell'errore laterale quando la curvatura è alta, e privilegia la fluidità del veicolo su tratti rettilinei. Questa combinazione riduce il tempo di convergenza del controllo da diversi secondi a pochi centesimi, migliorando la risposta in tempo reale e la robustezza contro disturbi esterni come vento o variazioni di massa del veicolo.