Perché giudichiamo l'AI per il rilevamento persone nei treni in modo diverso?

Quando l’intelligenza artificiale (AI) entra in ambiti dove la sicurezza è fondamentale, come i treni automatici, è cruciale capire come gli esseri umani valutano le sue prestazioni. In tre esperimenti, dei volontari hanno osservato sequenze video di persone che si muovevano vicino ai binari. Un sistema AI simulato ha evidenziato le figure rilevate, a volte correttamente, a volte sbagliando. I partecipanti dovevano dare un voto numerico alla performance dell’AI e spiegare a voce il loro giudizio.

Gli esperimenti hanno variato diversi fattori: il tipo di errore dell’AI (falso positivo o negativo), la plausibilità dell’errore, il numero di immagini coinvolte, quante persone c’erano in ogni foto, la posizione delle persone rispetto ai binari e il metodo usato per raccogliere le valutazioni. Tutti questi elementi hanno influenzato il punteggio dato, ma alcuni risultati sono stati inaspettati. Il fattore più decisivo è stato la posizione delle persone rispetto ai binari, nonostante ai partecipanti fosse stato detto che l’AI non poteva considerare quella informazione.

Questo indica che gli esseri umani tendono a valutare l’AI non solo per il compito specifico, ma anche per aspetti che percepiscono come rilevanti, anche se l’AI non li elabora. Quando si conducono audit di sicurezza, è quindi fondamentale tenere conto di queste discrepanze tra le capacità reali dell’AI e le aspettative umane.

In sintesi, la ricerca mostra che la percezione umana può distorcere la valutazione di sistemi critici, suggerendo la necessità di linee guida più chiare e di formazione specifica per chi deve giudicare l’affidabilità dell’AI nei trasporti.

L’articolo si basa su un disegno sperimentale di tipo tra‑soggetto con variabili indipendenti manipolate in modo controllato. Le tipologie di errore dell’AI sono state classificate secondo la tassonomia di falsi positivi (l’AI segnala una persona dove non ce n’è) e falsi negativi (l’AI non rileva una persona presente). La plausibilità degli errori è stata operazionalizzata mediante scenari realistici (ad esempio, una persona in ombra) versus scenari improbabili (una figura fantasma).

Le misure di valutazione hanno incluso una scala numerica a 7 punti, seguita da una risposta verbale registrata e successivamente trascritta per l’analisi qualitativa. L’analisi statistica ha impiegato ANOVA a misure ripetute per verificare l’effetto principale di ciascun fattore e le interazioni. I risultati hanno mostrato un’interazione significativa tra posizione della persona rispetto ai binari e tipo di errore (p < .01), indicando che i partecipanti attribuiscono maggiore peso agli errori percepiti come più pericolosi, indipendentemente dalla reale capacità dell’AI.

Un aspetto metodologico rilevante è la discrepanza tra le istruzioni fornite (l’AI non considera la posizione) e la percezione dei partecipanti, che ha generato un bias cognitivo noto come “effetto di ancoraggio contestuale”. Questo fenomeno suggerisce che, durante le valutazioni di sistemi AI, gli utenti tendono a integrare informazioni non disponibili al modello, influenzando il giudizio finale.

Le implicazioni pratiche includono la necessità di progettare interfacce di valutazione che esplicitino i limiti del modello e di formare gli operatori a distinguere tra performance del modello e fattori contestuali non considerati. Inoltre, i risultati supportano l’adozione di metriche di valutazione multi‑dimensionali, che combinano precisione tecnica con valutazioni di percezione del rischio da parte degli utenti, per una più completa certificazione di sicurezza.