L’AI può davvero funzionare offline su un laptop?

Negli ultimi anni i grandi modelli linguistici (LLM) hanno conquistato la scena, ma la maggior parte di loro richiede connessioni internet e GPU potenti. Un nuovo studio ha messo alla prova la possibilità di farli girare in modalità totalmente offline, usando solo la CPU di un laptop o di una workstation. Gli autori hanno combinato quattro LLM open‑source con una tecnica chiamata Retrieval‑Augmented Generation (RAG), che permette al modello di consultare documenti locali per rispondere a domande o riassumere testi. Come materiale di partenza hanno scelto un libro di gestione progetti, così da simulare un ambiente tipico di uffici governativi dove la privacy è fondamentale e le GPU non sono disponibili. I risultati, valutati con metriche BERTScore e METEOR, mostrano che tutti i modelli rispondono correttamente a domande fattuali, anche con risorse limitate. La sintesi di testi, invece, è più incerta: a volte le risposte risultano vaghe o incomplete. La quantizzazione dei modelli e le differenze hardware influiscono più sulla velocità di risposta che sulla qualità del contenuto, evidenziando un trade‑off da considerare. In sintesi, l’AI offline su CPU è praticabile per compiti strutturati come il recupero di informazioni, ma resta una sfida per attività più creative. Questo lavoro offre una prima guida pratica a chi vuole adottare LLM locali rispettando privacy e budget.

Il framework LocalGPT, impiegato nello studio, implementa la Retrieval‑Augmented Generation mediante un indice invertito costruito su documenti testuali pre‑processati. Durante l’interrogazione, il modello esegue una ricerca semantica (tipicamente basata su embeddings di tipo SBERT) per estrarre i passaggi più rilevanti, che vengono poi concatenati al prompt del LLM. Questo approccio riduce il carico computazionale perché il modello non deve generare tutta la conoscenza da zero, ma si limita a ragionare su un contesto ristretto. Per rendere i modelli compatibili con la sola CPU, è stata applicata la quantizzazione a 8‑bit, che comprime i pesi riducendo la precisione numerica ma mantenendo la maggior parte delle capacità linguistiche. La quantizzazione introduce un leggero degrado nella capacità di generare testi lunghi e coerenti, spiegando le difficoltà osservate nella sintesi. Inoltre, la latenza è influenzata dal numero di token restituiti dal motore di retrieval: più passaggi vengono recuperati, più tempo richiede la concatenazione e l’elaborazione. L’analisi ha mostrato che, su un laptop con processore Intel i7‑11800H, il tempo medio di risposta per una domanda fattuale è stato di circa 1,2 secondi, mentre per una sintesi di 150 parole è salito a 3,8 secondi. La differenza tra i due sistemi hardware testati (laptop vs workstation) è stata più evidente nella velocità di accesso al disco, poiché l’indice di retrieval è memorizzato su SSD. Infine, la scelta di metriche come BERTScore e METEOR, basate su confronti semantici e n‑grammi, è stata cruciale per valutare non solo la correttezza fattuale ma anche la fluidità e la coerenza del testo generato. Questi risultati suggeriscono che, con ottimizzazioni di quantizzazione e indexing, i LLM offline possono diventare strumenti pratici per ambienti ad alta sicurezza, pur richiedendo ulteriori miglioramenti per compiti più creativi.