Come i modelli AraBERTv2 rivoluzionano la correzione automatica di risposte brevi in arabo?

Negli ultimi anni l’intelligenza artificiale ha iniziato a dare una mano anche nella scuola, soprattutto per valutare risposte brevi scritte dagli studenti. In arabo, però, il compito è più difficile: la lingua ha una morfologia complessa, scrittura da destra a sinistra e molte forme di parole. Per affrontare queste sfide, i ricercatori hanno messo a punto versioni speciali di BERT, chiamate AraBERTv2, addestrate su enormi corpora di testi arabi.

Il nuovo studio confronta diversi “fine‑tuning” di questi modelli, cioè piccoli aggiustamenti fatti apposta per il compito di grading. Alcuni esperimenti hanno aumentato la profondità dei trasformatori, altri hanno modificato il numero di teste di attenzione o la dimensione dei token. L’obiettivo? Trovare il miglior equilibrio tra accuratezza (quanto il modello è vicino al giudizio umano) e velocità (quanto tempo impiega a valutare una risposta).

I risultati mostrano che un modello con 8 strati e 12 teste di attenzione, addestrato per 3 epoche su un dataset di 10.000 risposte, raggiunge un punteggio F1 del 87 %, quasi pari a quello degli insegnanti, ma con un tempo di inferenza ridotto del 30 % rispetto a versioni più grandi. Inoltre, l’analisi ha evidenziato che le domande con parole chiave rare sono quelle più difficili da valutare, suggerendo nuove direzioni per migliorare il vocabolario del modello.

Questa ricerca dimostra che, con le giuste scelte architetturali, è possibile creare sistemi di correzione automatica rapidi e affidabili, pronti a supportare gli insegnanti e a rendere l’apprendimento più interattivo.

AraBERTv2 è una variante di BERT pre‑addestrata su più di 70 GB di testo arabo, includendo sia il Modern Standard Arabic sia i dialetti più diffusi. Il modello utilizza la tokenizzazione WordPiece, che suddivide le parole in sub‑token per gestire la ricca morfologia della lingua. Durante il pre‑training, AraBERTv2 apprende due compiti: Masked Language Modeling (MLM) e Next Sentence Prediction (NSP), consentendo al modello di catturare sia il contesto interno alle frasi sia le relazioni tra frasi consecutive.

Nel fine‑tuning per la valutazione di risposte brevi, gli autori hanno sperimentato tre configurazioni principali: (1) aumento della profondità da 6 a 12 strati, (2) variazione del numero di teste di attenzione da 8 a 16, e (3) modifica della dimensione del hidden size da 768 a 1024. Ogni configurazione è stata addestrata per 2‑4 epoche su un dataset bilanciato di 10.000 risposte, con etichette di punteggio da 0 a 5 fornite da esperti.

Le metriche di valutazione includono l’F1‑score, l’accuracy e il tempo medio di inferenza per risposta. I risultati indicano che l’aumento della profondità migliora l’F1 di circa 2 punti, ma al costo di un incremento del 45 % nel tempo di inferenza. L’incremento delle teste di attenzione, invece, porta a un miglioramento marginale (≈0,8 punti F1) con un aumento minimo del tempo di calcolo. La dimensione hidden più grande offre il miglior bilanciamento, con un F1 di 87 % e un tempo di inferenza ridotto del 30 % rispetto al modello più profondo.

Un’analisi di errore ha rivelato che le risposte contenenti termini tecnici o neologismi non presenti nel vocabolario originale di AraBERTv2 tendono a ricevere punteggi più bassi. Per mitigare questo problema, gli autori propongono di aggiornare periodicamente il vocabolario con token estratti da nuovi corpora educativi. Inoltre, l’uso di tecniche di data augmentation, come la parafrasi automatica, può aumentare la robustezza del modello su varianti linguistiche. In futuro, l’integrazione di modelli di ragionamento simbolico potrebbe migliorare ulteriormente la capacità di valutare risposte che richiedono inferenze logiche, aprendo la strada a sistemi di grading più intelligenti e contestualmente consapevoli.