OmniSafeBench-MM: la palestra dove le IA imparano a non farsi ingannare

I modelli linguistici multimodali (MLLM) sono diventati bravissimi a guardare immagini, leggere testo e ragionare insieme. C'è un problema: restano vulnerabili ai "jailbreak". Sono trucchi che convincono l'IA a ignorare le regole di sicurezza e dire cose pericolose. Finora i test per scoprire queste falle erano sparsi, limitati e difficili da confrontare.

Arriva OmniSafeBench-MM, una piattaforma open source che fa da palestra completa. Dentro ci trovi 13 metodi d'attacco, 15 strategie di difesa e un dataset che copre 9 macro-rischi divisi in 50 categorie precise. Le domande-test simulano intenzioni reali: chi chiede consiglio, chi dà ordini, chi dichiara fatti.

La novità vera è come si misura il risultato. Non basta un sì o no. La valutazione ha tre dimensioni: quanto è grave il danno (da lieve a catastrofico), se la risposta centra l'intenzione della domanda e quanto dettaglio fornisce. Così si vede se un modello è sicuro ma inutile, o utile ma pericoloso.

I ricercatori hanno provato 18 modelli, 10 aperti e 8 chiusi. Tutti mostrano crepe sotto attacchi multimodali. Il codice è su GitHub: chiunque può replicare i test e proporre difese migliori. È un passo concreto verso IA che capiscono il mondo senza farsi manipolare.

OmniSafeBench-MM colma un vuoto metodologico critico: la mancanza di un framework unificato per la valutazione attack-defense in ambito multimodale. Benchmark precedenti (JailBreakV-28K, MM-SafetyBench, HADES) soffrivano di copertura asimmetrica tra vettori d'attacco (solo text-to-image o image-to-text), assenza di baseline difensive standardizzate e metriche di valutazione binarie (safe/unsafe) insufficienti per analisi risk-utility.

L'architettura del toolbox è modulare: un Attack Engine che implementa 13 tecniche (es. gradient-based, role-play, typographic attacks, semantic manipulation) e un Defense Engine con 15 contromisure (input sanitization, detection classifiers, refusal fine-tuning, constitutional AI). Il dataset OmniSafeBench-MM-Dataset struttura 50 categorie di rischio (violenza, illegale, privacy, self-harm, etc.) secondo una tassonomia a 3 livelli, mappate su 3 tipi di inquiry: consultative (information seeking), imperative (instruction following), declarative (fact verification). Questo design permette di testare la robustezza dell'alignment rispetto all'user intent.

Il protocollo di valutazione tridimensionale è l'innovazione maggiore: (1) Harmfulness Score su scala ordinale a 5 livelli (Negligible, Minor, Moderate, Severe, Catastrophic), basato su linee guida derivate da AI Safety taxonomies; (2) Intent Alignment Score (0-1) che misura la coerenza semantica tra response e query tramite embedding similarity e LLM-as-judge; (3) Detail Level (Concise, Standard, Verbose) per penalizzare rifiuti eccessivi (over-refusal) o output prolissi non informativi. Gli esperimenti su 18 MLLMs (LLaVA, Qwen-VL, GPT-4V, Gemini Pro, Claude 3, etc.) rivelano che i modelli closed-source resistono meglio agli attacchi unimodali ma collassano sotto attacchi cross-modal composti, evidenziando la necessità di alignment multimodale nativo e non post-hoc. La riproducibilità è garantita da containerizzazione Docker, logging strutturato e API unificata per l'integrazione in pipeline CI/CD di safety testing.