Perché l'AI non si fa ingannare dai truffatori online? La scoperta che cambia tutto

Ogni giorno, milioni di email e messaggi tentano di rubare password e dati personali. Si chiamano phishing e sono tra i trucchi più diffusi del web. Ma ora un team di ricercatori ha creato un sistema AI sorprendentemente abile nel riconoscerli: un modello chiamato DistilBERT che raggiunge il 95,85% di precisione nel beccare le truffe online.

Il bello? Non è un semplice "scatola nera" che dà risposte senza spiegare il perché. I ricercatori hanno usato tecniche speciali come SHAP e LIME per sbirciare dentro al cervello elettronico e capire come ragiona. Hanno scoperto qualcosa di inaspettato: il modello non dipende da pochi componenti chiave, ma distribuisce le sue capacità su molti elementi.

Per verificare la sua resilienza, gli scienziati hanno fatto un esperimento radicale: hanno disattivato le parti considerate "specialiste" del sistema. Risultato? Le prestazioni non calavano! Significa che l'AI ha imparato a difendersi in modo distribuito, come un sistema immunitario con molti anticorpi diversi.

Poi sono arrivati i test più duri: hanno provato a ingannare il modello con trucchi classici dei truffatori. Hanno scritto "micorsoft.com" invece di "microsoft.com", usato numeri al posto di lettere come "paypa1-login.com", e persino caratteri visivamente identici ma diversi. L'evasione non ha mai superato il 7,2%.

Il segreto sta nel tokenizer subword, che scompone le parole in pezzi minuscoli: così "paypa1" non sfugge al controllo perché "pay" + "pal" + "1" risulta comunque sospetto. Insomma, un AI più furba di tanti truffatori umani.

Lo studio approfondisce tre aspetti cruciali dell'interpretabilità dei modelli Transformer applicati alla sicurezza informatica. Prima di tutto, l'analisi degli "attention heads" specialistici: questi sono singoli componenti del transformer che si specializzano nel riconoscere pattern specifici come pattern di URL sospetti, sequenze di caratteri anomale o strutture sintattiche tipiche del phishing. Utilizzando probing tasks specifici per il dominio, i ricercatori hanno mappato quali attention heads si attivano in risposta a quali caratteristiche delle URL.

L'analisi causale tramite ablation study ha rivelato un fenomeno interessante: la rimozione selettiva dei heads considerati più "specialisti" non degrada significativamente le performance. Questo suggerisce che il modello ha appreso rappresentazioni distribuite e ridondanti, dove la conoscenza non è concentrata in pochi nodi critici ma sparsa su molti componenti. È un po' come il cervello umano, dove la memoria è memorizzata in modo distribuito.

Sul piano della robustezza adversarial, il modello è stato testato con attacchi FGSM (Fast Gradient Sign Method) a diversi budget di perturbazione (ε = 0.1, 0.2, 0.3, 0.5). Per perturbazioni piccole (ε ≤ 0.1), l'F1-score resta superiore a 0.95, dimostrando robustezza. Sotto attacchi più forti, la degradazione è graduale, non catastrofica. Questo comportamento è coerente con la teoria delle rappresentazioni distribuite, che offrono maggiore resilienza rispetto a rappresentazioni localizzate.

Infine, i test con obfuscazioni realistiche (homoglyphs, leet speak, trasposizioni di caratteri, delimiter manipulation) hanno dimostrato che il tokenizer subword di DistilBERT funziona come un filtro efficace: manipolazioni locali alterano la struttura dei subword tokens in modi che rendono i pattern anomali più facili da rilevare, non meno.