Perché le macchine falliscono? Scopriamo le trappole tra processi industriali e auto autonome

Le intelligenze artificiali stanno prendendo sempre più spazio in ambienti ad alto rischio, da impianti chimici a veicoli senza conducente. Ma cosa succede quando qualcosa va storto? Uno studio ha analizzato 60 incidenti reali: 30 provenienti da sistemi di controllo di processo (PCS) e 30 da veicoli autonomi (AV).

Nei PCS, i problemi nascono quasi sempre dentro il sistema: sensori difettosi, algoritmi di controllo errati o errori di programmazione. Questi guasti sono spesso individuabili con regole precise e deterministiche. Al contrario, gli AV affrontano rischi esterni – ostacoli improvvisi, condizioni meteo variabili, comportamenti imprevedibili di altri utenti della strada – e si affidano a una fusione probabilistica di dati provenienti da telecamere, lidar e radar.

Nonostante le differenze tecniche, i due mondi condividono errori umani ricorrenti: fiducia eccessiva nell’automazione, confusione sullo stato della macchina e ritardi nell’intervento. Nei PCS, questi errori sono ben documentati da anni; lo studio li usa per prevedere le stesse difficoltà quando l’AI verrà integrata nei processi industriali.

La conclusione è chiara: serve un approccio ibrido alla percezione del rischio, che combini regole rigide con valutazioni probabilistiche, e una progettazione centrata sull’uomo per mantenere alta la consapevolezza situazionale. Solo così potremo rendere più sicuri sia gli impianti industriali che le auto del futuro.

L'analisi comparativa si basa su metodologie di codifica qualitativa dei rapporti di incidente, con categorizzazione delle cause radice secondo standard ISO 31000. Nei PCS, i guasti sono tipicamente classificati come "fault‑tolerant" o "fault‑intolerant" a seconda della capacità del sistema di continuare l'operazione dopo un errore. La rilevazione avviene tramite monitoraggio di parametri di processo (pressione, temperatura, flusso) confrontati con soglie predefinite; l'algoritmo di diagnosi utilizza logiche di tipo fuzzy per gestire incertezze minime.

Per gli AV, la percezione del rischio è modellata mediante reti neurali convoluzionali (CNN) per l'analisi visiva e filtri di Kalman estesi per la fusione dei dati sensoriali. La probabilità di collisione è calcolata in tempo reale con modelli di predizione del comportamento degli ostacoli, basati su Markov Decision Processes (MDP). Tuttavia, la dipendenza da dati di training può introdurre bias, soprattutto in scenari rari non rappresentati nei dataset.

Le interazioni umane‑AI mostrano tre pattern critici: (1) "automation bias", dove l'operatore accetta ciecamente le raccomandazioni dell'AI; (2) "mode confusion", ovvero l'incapacità di distinguere lo stato attivo dell'automazione (es. assistenza alla guida vs. guida autonoma); (3) "late intervention", ritardo nell'assumere il controllo manuale. Questi fenomeni sono amplificati da interfacce utente poco intuitive e da una formazione insufficiente. Per mitigare tali rischi, si propone un framework ibrido che combina regole basate su logica formale (per PCS) con modelli probabilistici (per AV), integrati da feedback tattile e visuale per l'operatore, oltre a protocolli di addestramento periodico basati su scenari di emergenza simulati.

Infine, la ricerca suggerisce l'adozione di metriche di "situational awareness" quantificabili, come il SAO (Situation Awareness Objective) score, per monitorare in tempo reale la comprensione dell'operatore rispetto allo stato del sistema, favorendo interventi tempestivi e riducendo la probabilità di incidenti catastrofici.