Qwen 3.8 27B: la prova su RTX 5090 e oltre – VRAM non basta per superare i colli di bottiglia software
- Punto chiave 1: La capacità di VRAM è solo una parte della equazione; bottlenecks software e engine di inferenza possono annullare i vantaggi hardware.
- Punto chiave 2: L’inferenza con Qwen 3.8 27B richiede un’implementazione specifica (vLLM, SGLang, llama.cpp) e, in molti casi, più di una GPU per sfruttare appieno il modello.
- Punto chiave 3: La modalità Multi‑Token Prediction (MTP) e la parallelizzazione su più GPU sono fattori critici per ottenere throughput elevati e tempi di risposta accettabili.
Sentiment: NEUTRALE
Il lancio di Alibaba’s Qwen 3.8 27B ha acceso la passione tra gli appassionati di intelligenza artificiale, grazie ai risultati impressionanti ottenuti con una quantizzazione a 4 bit e alle capacità multimodali integrate. Con un peso di circa 17 GB in formato Q4_K_M, il modello sembra perfetto per le schede grafiche di fascia alta come la RTX 5090, la RTX 4090 o la RTX 3090, ma la realtà è più complessa. In questo articolo esploriamo i veri requisiti hardware e software per far girare Qwen 3.8 27B in modo efficiente, basandoci su benchmark reali su una serie di piattaforme, dalle schede discrete ai sistemi con memoria unificata.
1. Qwen 3.8 27B: caratteristiche e sfide di quantizzazione
Il modello, con 27 miliardi di parametri, è stato quantizzato a 4 bit (Q4_K_M) per ridurre l’uso di memoria a circa 17 GB, rendendolo teoricamente gestibile su GPU con 32 GB di VRAM. Tuttavia, la quantizzazione a 4 bit comporta una perdita di precisione che può influire sulla qualità delle risposte, soprattutto in contesti lunghi. Inoltre, il modello supporta la Multi‑Token Prediction (MTP), una tecnica che prevede più token contemporaneamente, migliorando notevolmente il throughput ma richiedendo più memoria e una gestione più complessa dell’inferenza.
2. Benchmark su RTX 5090: la VRAM non è tutto
La RTX 5090, con 32 GB di GDDR7 e 1,8 TB/s di banda memoria, sembra la scelta ideale. Con llama.cpp il modello si carica correttamente, ma il tempo di primo token (TTFT) salta a circa 30 minuti per contesti lunghi, e il throughput scende a 20 token/s. Questo indica un problema di gestione della memoria o di ottimizzazione del kernel.
Passando a vLLM, un engine di inferenza di produzione, si ottengono risultati migliori: con una singola RTX 5090 TTFT rimane accettabile, ma il throughput si limita a 70‑80 token/s quando si utilizza MTP su due GPU. Con una sola GPU, il limite di contesto è di 32 K token, mentre per raggiungere i 262 K token nativi è necessario un secondo 5090 o una GPU con più VRAM.
Con SGLang, la singola GPU è quasi 3 x più veloce rispetto a vLLM, ma anche qui il contesto massimo è di 37 740 token senza MTP. L’uso di MTP su SGLang porta a 100‑110 token/s, ma richiede comunque una seconda GPU per sfruttare appieno il modello.
3. GPU di fascia media: RTX 4090 e RTX 3090
Le schede da 24 GB, come la RTX 4090 e la RTX 3090, possono caricare il modello in Q4_K_M con llama.cpp, ma devono usare la quantizzazione Q8_0 per la cache KV e limitare il contesto a circa 112 K token. La banda memoria più ridotta e la necessità di occupare ogni byte di VRAM rendono queste GPU meno adatte per applicazioni interattive, a meno che non si disponga di un sistema headless.
4. Piattaforme con memoria unificata e server di fascia alta
Il DGX Spark, con 27 GB/s di banda memoria, mostra un prefill più rapido rispetto alla RTX 5090, consentendo di completare le inferenze a contesti lunghi più velocemente. Supporta sia llama.cpp sia vLLM e SGLang, offrendo un throughput di 20 token/s con MTP. Il costo di un singolo Spark è intorno ai 5 k€, rendendolo una soluzione accessibile per chi vuole un sistema pronto all’uso.
Il Mac Studio M4 Max offre la più alta banda memoria tra le piattaforme unificate, ma il tempo di prompt processing è più lento, risultando in tempi di inferenza complessivi più lunghi rispetto al DGX Spark. L’uso di MTP su questa piattaforma può migliorare il throughput a contesti lunghi, ma a scapito di prestazioni più basse a contesti brevi.
Il Ryzen AI Halo è il caso più difficile: banda memoria ridotta e tempi di prompt elevati limitano il throughput a 20‑30 token/s, anche con MTP. È possibile eseguire il modello, ma solo se le esigenze non richiedono interattività o contesti lunghi.
5. Conclusioni: oltre la VRAM, l’importanza dell’ecosistema software
Il benchmark dimostra che la capacità di VRAM è solo un fattore. Per ottenere prestazioni competitive con Qwen 3.8 27B è necessario:
- Selezionare un engine di inferenza adeguato (vLLM o SGLang) e configurarlo correttamente per sfruttare MTP e la parallelizzazione su più GPU.
- Garantire che la GPU disponga di sufficiente VRAM per gestire sia i
