Come l'IA può scegliere i revisori più adatti senza bias?

Immagina di dover assegnare 40 progetti a 40 revisori, ma senza sbagli di giudizio o favoritismi. L’IA può farlo! Il nuovo sistema usa un modello di linguaggio chiamato transformer per confrontare il contenuto di una proposta con i CV e i profili Google Scholar dei revisori. In pratica, l’IA legge e capisce il significato di ogni parola, così può dire quanto un revisore è “simile” a un progetto. Poi, con un algoritmo di ottimizzazione, trova la combinazione migliore: chi scrive, chi è capo revisore, chi è semplicemente revisore, tenendo conto del carico di lavoro e dei conflitti di interesse. I risultati sono sorprendenti: i progetti ricevono un punteggio di similarità alto (da 0,65 a 0,89) quando il revisore è davvero competente, e basso quando non lo è. L’algoritmo non solo è più rapido, ma è anche più giusto, perché non dipende dalle preferenze soggettive. In pratica, l’IA rende il processo di revisione più trasparente, scalabile e adatto a grandi eventi scientifici. È un esempio di come l’IA possa migliorare la scienza stessa, aiutando a mettere le idee giuste nelle mani giuste.

Il cuore di questo approccio è la combinazione di due tecnologie chiave: il modello di linguaggio transformer e l’ottimizzazione lineare intera (ILP). Il modello transformer, in particolare all-mpnet-base-v2, è stato addestrato su un vasto corpus di testi scientifici, permettendo di catturare relazioni semantiche complesse tra parole e frasi. Quando un progetto viene inserito nel sistema, il modello genera un embedding vettoriale che rappresenta il suo contenuto in uno spazio a 768 dimensioni. Allo stesso modo, i CV e i profili Google Scholar dei revisori vengono trasformati in embedding. La similarità coseno tra questi vettori fornisce un punteggio che indica quanto un revisore sia “in sintonia” con un progetto. Questi punteggi vengono poi normalizzati e trasformati in ranking, che alimentano l’ILP. L’ILP è formulato con variabili binarie che indicano se un revisore è assegnato a un progetto. Le restrizioni includono: (1) bilanciamento del carico di lavoro, garantendo che nessun revisore riceva più di un certo numero di progetti; (2) conflitti di interesse, escludendo revisori che hanno collaborato con l’autore; (3) ruoli specifici, assegnando un revisore capo, un scribe e un revisore secondario per ogni progetto. L’obiettivo è massimizzare la somma dei punteggi di similarità, assicurando così che i progetti siano valutati da chi ha la più alta competenza pertinente. Il test su 40 ricercatori in due discipline diverse ha mostrato che la similarità tra progetti e revisori è molto più alta quando i contenuti sono correlati (0,65–0,89) e molto più bassa quando non lo sono (da –0,21 a 0,08). Inoltre, il sistema ha dimostrato di essere robusto rispetto al tipo di documento del revisore: CV o profilo Google Scholar, i punteggi di similarità sono comparabili. Questo indica che l’algoritmo è in grado di estrarre competenze chiave indipendentemente dalla forma del documento. In conclusione, l’integrazione di NLP avanzata con ottimizzazione matematica offre una soluzione scalabile, trasparente e priva di bias per la gestione delle revisioni scientifiche, con potenziali applicazioni in conferenze, riviste e grant agencies.