Come fanno i bot a mantenere l’emozione giusta in una lunga chiacchierata?

Un gruppo di ricercatori ha creato un nuovo metodo per far parlare i chatbot in modo più coerente e emotivo. Il segreto è il Verifiable Emotion Reward (VER), un segnale di ricompensa che usa classificatori di emozioni già addestrati per valutare ogni turno di conversazione. In pratica, il modello riceve un “punteggio” ogni volta che riesce a mantenere l’emozione indicata dal personaggio, evitando che il tono cambi in modo casuale.

Per testare VER, gli scienziati hanno costruito CHARCO, un enorme dataset di oltre 230.000 dialoghi multi‑turno. Ogni scambio è arricchito da profili di persona, contesti semantici e dieci etichette emotive, così il modello può imparare a rispondere come un vero attore di ruolo. Dopo aver fine‑tuned i grandi modelli di linguaggio su CHARCO, i risultati sono stati sorprendenti: i bot hanno mostrato una maggiore coerenza emotiva, hanno rispettato meglio i ruoli assegnati e hanno prodotto conversazioni più fluide.

Le valutazioni includono metriche di diversità lessicale, punteggi automatici con GPT‑4 e test umani. Tutti concordano che l’unione di un dataset specifico e del reward VER porta a un salto di qualità nei chatbot persona‑aligned, aprendo la porta a assistenti virtuali più empatici e credibili.

Il Verifiable Emotion Reward (VER) si basa su classificatori di emozioni congelati, tipicamente reti neurali addestrate su corpora etichettati con valenze affettive (ad es. FER‑2013 o EmoBank). Questi classificatori forniscono una distribuzione di probabilità su un set predefinito di emozioni (gioia, tristezza, rabbia, sorpresa, disgusto, paura, ecc.). Durante il training, il modello di linguaggio genera una risposta; il VER calcola la divergenza (ad esempio KL‑divergence) tra la distribuzione prevista dal classificatore e l’emozione target associata al personaggio per quel turno. Il segnale di ricompensa è poi combinato con la loss tradizionale di language modeling, creando un obiettivo ibrido che penalizza sia errori sintattici sia deviazioni emotive.

Il dataset CHARCO è stato costruito mediante una pipeline di crowdsourcing e filtraggio automatico. I partecipanti hanno ricevuto una scheda persona (età, hobby, background) e un contesto narrativo, dopodiché hanno scritto dialoghi di almeno 10 turni, annotando l’emozione dominante per ogni risposta. Le annotazioni sono state verificate da esperti di psicologia cognitiva per garantire coerenza inter‑annotatore. Il risultato è un corpus bilanciato, con una distribuzione quasi uniforme delle dieci emozioni, che permette al modello di apprendere pattern emotivi anche per stati meno frequenti.

Le metriche di valutazione includono: (i) Perplexity per la fluidità linguistica; (ii) Emotion Consistency Score (ECS), calcolato come media della similarità coseno tra le embedding emotive target e quelle generate; (iii) Role Fidelity Index (RFI), che misura la corrispondenza tra le risposte e le caratteristiche della persona. Inoltre, sono stati condotti studi di validazione con GPT‑4, che ha valutato la coerenza emotiva e la credibilità dei dialoghi su una scala Likert a 5 punti. I risultati mostrano un miglioramento medio di 0,35 punti rispetto a baseline senza VER, confermando l’efficacia del reward nella mitigazione del drift emotivo su conversazioni lunghe.