Come migliorare i prompt con due gradienti?

Negli ultimi anni i grandi modelli linguistici (LLM) hanno dimostrato capacità sorprendenti in molte attività, dalla traduzione alla risposta a domande. Tuttavia, quando si tratta di compiti di classificazione più complessi – ad esempio l’analisi di documenti legali o il riconoscimento di intenzioni sottili – i LLM possono ancora inciampare. Per superare questi limiti, gli studiosi hanno esplorato il prompt engineering, cioè la progettazione accurata delle istruzioni date al modello. Ottimizzare manualmente i prompt richiede tempo e intuito, perciò si è cercato un metodo automatico. È nato così il framework PO2G (Prompt Optimization with Two Gradients), che utilizza due segnali di gradiente per guidare la ricerca del prompt migliore. Nei test su nove benchmark di elaborazione del linguaggio naturale, tre dei quali provenivano dallo studio originale di ProTeGi e sei di carattere generale, PO2G ha raggiunto quasi l’89% di accuratezza dopo soli tre cicli di ottimizzazione, mentre ProTeGi ne ha richiesti sei per ottenere un risultato simile. Gli autori hanno poi esteso la valutazione a sette task di classificazione nel dominio legale, confermando che il vantaggio di PO2G si mantiene anche in contesti specialistici. Questi risultati suggeriscono che automatizzare la ricerca dei prompt può rendere i LLM più affidabili e veloci, aprendo la strada a applicazioni più sicure in settori come la legge, la medicina e la finanza.

Il framework PO2G si basa sull’idea di trattare il prompt come un parametro ottimizzabile nello spazio delle sequenze di token. A differenza di approcci basati su ricerca aleatoria o su algoritmi evolutivi, PO2G calcola due gradienti distinti rispetto alla funzione di loss di classificazione. Il primo gradiente deriva dalla loss standard di cross‑entropy, indicando come modificare il prompt per aumentare la probabilità della classe corretta. Il secondo gradiente è ottenuto da una loss di regolarizzazione che penalizza la similarità eccessiva con i prompt precedenti, incoraggiando l’esplorazione di regioni diverse dello spazio delle sequenze. Combinando questi due segnali mediante una somma pesata, l’algoritmo aggiorna il prompt tramite un passo di discesa del gradiente nello spazio embedding, seguito da una fase di proiezione che mappa il vettore risultante sulla sequenza di token più vicina (solitamente tramite ricerca del nearest neighbor nel vocabolario). Questo permette di mantenere il prompt leggibile e coerente, evitando la generazione di token non significativi. Gli autori hanno inoltre introdotto uno schema di annealing del peso del secondo gradiente, iniziando con un valore alto per favorire l’esplorazione e riducendolo gradualmente per concentrare l’ottimizzazione sulla precisione. Nei esperimenti, l’uso di due gradienti ha ridotto la varianza delle stime di gradiente rispetto a un singolo gradiente stocastico, portando a una convergenza più rapida: tre iterazioni di PO2G hanno prodotto un miglioramento equivalente a sei iterazioni di ProTeGi, che si basa su un unico gradiente di policy gradient. L’analisi di ablazione ha mostrato che rimuovere il gradiente di diversità fa scendere l’accuratezza a circa 80% dopo tre passi, mentre eliminare il gradiente di loss porta a un collasso verso prompt generici e poco informativi. Questi risultati evidenziano come la sinergia tra ottimizzazione della performance e esplorazione dello spazio dei prompt sia cruciale per superare i limiti dei metodi manuali e di quelli basati su un solo segnale di gradiente.