Come capire se un testo è scritto da un umano o da un'IA?

Le intelligenze artificiali generative, come ChatGPT o Google Bard, stanno cambiando il modo in cui scriviamo. Ma come possiamo capire se un brano è frutto di una mente umana o di un algoritmo? Un team di ricercatori ha creato un modello di machine learning capace di distinguere testi scritti da studenti da quelli prodotti da cinque diversi LLM. Il metodo prevede due fasi: una classificazione binaria (umano vs. IA) e una multiclasse (umano vs. ciascuno dei cinque modelli). Sono stati testati algoritmi tradizionali, come Random Forest, e reti neurali ricorrenti, ottenendo un’accuratezza del 98,5%, molto più alta del noto GPTZero (78,3%).

Per capire *perché* il modello funziona, gli autori hanno usato l’Explainable AI (XAI), che evidenzia le caratteristiche più decisive per la decisione. Tra queste, la lunghezza delle frasi, la varietà lessicale e la presenza di strutture sintattiche ricorrenti. Queste “impronte stilistiche” permettono di creare un profilo unico per ogni autore, umano o artificiale, facilitando il rilevamento di plagio e garantendo l’originalità dei contenuti. In pratica, il sistema non solo dice “è IA”, ma spiega quali tratti lo hanno tradotto così. Questo approccio promette di diventare uno strumento fondamentale per scuole, editori e piattaforme online, dove la trasparenza sulla provenienza dei testi è sempre più importante.

L'approccio proposto combina tecniche di classificazione supervisionata con analisi di feature interpretabili. Il Random Forest, grazie alla sua capacità di gestire dati eterogenei, fornisce importanza delle variabili basata su impurità ridotta, evidenziando quali attributi (es. n‑grammi, punteggi di leggibilità, frequenza di parole rare) contribuiscono maggiormente alla distinzione. Le RNN, in particolare le LSTM, catturano dipendenze a lungo termine nel flusso testuale, permettendo di rilevare pattern ricorrenti tipici dei modelli LLM, come la tendenza a produrre frasi con struttura bilanciata ma poco variabile. L'XAI, implementato tramite SHAP (SHapley Additive exPlanations), assegna a ciascuna feature un valore di contributo positivo o negativo per la predizione. Analizzando i valori SHAP medi per classe, è emerso che i LLM tendono a utilizzare una distribuzione più uniforme di parole comuni, mentre gli studenti mostrano picchi di vocaboli specialistici legati al contesto accademico. Inoltre, la coesione lessicale (misurata con la metrica di Coh-Metrix) risulta più alta nei testi generati da IA, probabilmente per via di algoritmi di ottimizzazione della coerenza. Queste scoperte non solo migliorano la precisione del classificatore, ma offrono una base teorica per sviluppare metriche di autenticità testuale più robuste, utili in contesti educativi e editoriali.