Perché i modelli di linguaggio a volte sbagliano i codici biomedici?

I grandi modelli di linguaggio (LLM) sono bravi a capire il linguaggio, ma spesso inciampano quando devono collegare termini biomedici ai loro codici standard, come quelli dell’Human Phenotype Ontology (HPO). Questo errore può compromettere applicazioni cruciali, dalla medicina di precisione al supporto decisionale clinico. Gli scienziati hanno scoperto che la “conoscenza pregressa” del modello, acquisita durante il pre‑training, è il fattore chiave per capire se il fine‑tuning migliorerà o meno la precisione.

Tre modi per misurare questa conoscenza: (1) “probabilità latente”, ovvero le associazioni nascoste rivelate da prompt casuali; (2) “conoscenza parziale di subtokens”, cioè la capacità del modello di generare parti corrette dell’identificatore; (3) “familiarità del termine”, stimata dal numero di volte che il termine appare nella letteratura biomedica. I risultati mostrano che i termini con conoscenza intermedia – la cosiddetta “zona reattiva” – sono quelli che più variano dopo il fine‑tuning: alcuni migliorano notevolmente, altri peggiorano. Quando la conoscenza parziale è debole o media, o quando la probabilità latente è sconosciuta o debole, il fine‑tuning porta i più grandi guadagni. In pratica, il successo dell’iniezione di conoscenza dipende da quanto il modello conosce già il legame termine‑codice prima di essere affinato.

L’analisi si basa su tre metriche quantitative. La probabilità latente è calcolata mediante prompt stocastici che generano una distribuzione di output per ogni termine; la varianza di questa distribuzione indica la forza dell’associazione pre‑esistente. La conoscenza parziale di subtokens è valutata confrontando le sequenze generate dal modello con i componenti dell’identificatore HPO (es. HP:0001250). Un punteggio medio suggerisce che il modello ha appreso parti del codice ma non l’intero. La familiarità del termine è derivata da conteggi di citazioni in PubMed, normalizzati per anno, per stimare l’esposizione del modello durante il pre‑training. I termini nella zona reattiva mostrano una curva di apprendimento non lineare: se la conoscenza pre‑esistente è troppo bassa, il fine‑tuning non riesce a colmare il divario; se è troppo alta, il modello già performa bene e il fine‑tuning ha effetti marginali. Statistiche di regressione logistica confermano che le interazioni tra le tre metriche spiegano il 68 % della varianza nella precisione post‑fine‑tuning. Questi risultati suggeriscono strategie di selezione dei termini da includere nel set di addestramento, privilegiando quelli con conoscenza intermedia per massimizzare i benefici del fine‑tuning.