Un esperimento dimostra che un LLM da 120 B può funzionare con hardware modesto
Un modello di linguaggio di grandi dimensioni (LLM) da 120 billion di parametri, come il gpt‑oss‑120b, richiede tipicamente tra 60 GB e 80 GB di VRAM e memoria di sistema per garantire prestazioni accettabili. Nonostante queste esigenze, un individuo è riuscito a far girare il modello utilizzando una combinazione di dispositivi a basso costo, inclusi alcuni computer e uno smartphone Android.
Requisiti di memoria per un LLM da 120 B
Secondo le informazioni disponibili, l’esecuzione di un modello da 120 billion di parametri richiede un minimo di 60 GB fino a 80 GB di memoria complessiva, comprendente sia la VRAM delle GPU sia la RAM di sistema. Questa soglia è considerata necessaria per ottenere una velocità di elaborazione ragionevole e per evitare colli di bottiglia durante l’inferenza.
Configurazione distribuita realizzata
L’esperimento è stato condotto aggregando più macchine a basso costo e un telefono Android. La soluzione ha sfruttato la capacità di calcolo distribuito dei dispositivi, collegandoli in un cluster che ha permesso di caricare il modello nonostante la carenza di memoria individuale. Non sono stati impiegati server di fascia alta né hardware specializzato.
Prestazioni e limiti dell’esperimento
Pur dimostrando la fattibilità tecnica, il cluster di dispositivi ha prodotto velocità di risposta estremamente lente, rendendo l’utilizzo del modello poco pratico per applicazioni reali. L’autore dell’esperimento ha riconosciuto che, sebbene la creatività nella configurazione abbia superato le aspettative teoriche, le prestazioni risultano insufficienti per un uso produttivo.
