Come riconoscere le emozioni nelle foto? La scienza ha una nuova risposta!

Hai mai pensato che una foto possa farti provare emozioni? La scienza sta lavorando per capire come! Recentemente, i ricercatori hanno sviluppato un nuovo metodo chiamato Object-Scene Attention Fusion Network (OSAFN) che analizza gli oggetti e le scene nelle immagini per prevedere le emozioni che possono suscitare. Questo sistema utilizza due strategie diverse per estrarre informazioni semantiche: una per gli oggetti e una per le scene. Inoltre, un modulo di attenzione allinea queste informazioni con le caratteristiche visive per migliorare la rappresentazione delle emozioni. I risultati su quattro dataset dimostrano che OSAFN funziona meglio rispetto ai metodi tradizionali, aprendo nuove strade per l'analisi delle emozioni nelle immagini.

L'Object-Scene Attention Fusion Network (OSAFN) è un modello avanzato che combina informazioni semantiche di oggetti e scene per migliorare la classificazione delle emozioni nelle immagini. Utilizza un tool esterno per estrarre concetti legati agli oggetti e un prompting basato su Appraisal-based Chain-of-Thought (Appraisal-CoT) per generare informazioni sulle scene. Questi dati semantici vengono poi allineati con le caratteristiche visive attraverso moduli di attenzione. Un'ulteriore innovazione è la strategia di fusione adattiva, che integra i risultati dei flussi semantici di oggetti e scene. Inoltre, una loss di contrasto basata sulla polarità aiuta a modellare la struttura gerarchica delle emozioni, migliorando la discriminazione tra categorie emotive fini. I test su quattro dataset hanno dimostrato che OSAFN supera i metodi tradizionali, rappresentando un significativo progresso nel campo dell'Image Emotion Classification (IEC).