PrismML presenta LLM ultra‑compatti per occhiali smart basati su Snapdragon
PrismML, il laboratorio di intelligenza artificiale fondato da ricercatori della Caltech e consigliato da Ion Stoica dell’UC Berkeley, ha annunciato una versione ridotta dei suoi modelli linguistici destinata agli occhiali smart alimentati da chip Qualcomm. Durante il Snapdragon Summit, la startup ha mostrato il Bonsai LLM a 1 bit, progettato per funzionare localmente su dispositivi basati sulla piattaforma Snapdragon AR1 Gen 1. Il modello, da 2 miliardi di parametri, è ottimizzato per compiti di visione e linguaggio, consentendo all’utente di interrogare in tempo reale l’ambiente osservato. PrismML punta a fornire intelligenza artificiale “open‑weight” direttamente sui dispositivi, riducendo la dipendenza da servizi cloud proprietari. Al momento non sono stati annunciati occhiali commerciali che integrino la soluzione.
Modelli linguistici ultra‑compatti di PrismML
PrismML si è distinta per la capacità di ridurre le dimensioni dei modelli di intelligenza artificiale, affermando di comprimere i modelli originali di un fattore quattro mantenendo quasi invariata la performance sui benchmark standard. Il Bonsai LLM presentato al summit è una versione a 1 bit, cioè utilizza una rappresentazione binaria dei pesi, che consente di contenere il modello in una frazione dello spazio di memoria richiesto da versioni tradizionali. La compressione è particolarmente rilevante per dispositivi indossabili, dove le risorse di calcolo e di energia sono limitate.
Integrazione con la piattaforma Snapdragon AR1 Gen 1
Il modello di PrismML è stato ottimizzato per la piattaforma Snapdragon AR1 Gen 1 di Qualcomm, progettata specificamente per applicazioni di realtà aumentata. La piattaforma combina CPU, GPU e NPU (Neural Processing Unit) in un unico chip, consentendo l’esecuzione di carichi di lavoro AI direttamente sul dispositivo. Secondo la presentazione di Qualcomm, il Bonsai LLM può operare localmente su occhiali smart basati su questo chip, eliminando la necessità di connessioni costanti a server esterni per l’elaborazione delle richieste linguistiche.
Implicazioni per la privacy e il mercato dei dispositivi indossabili
PrismML inquadra la sua offerta come un’alternativa alle soluzioni AI proprietarie, che spesso richiedono l’invio di dati a server remoti per l’elaborazione. Eseguendo il modello direttamente sull’occhiale, i dati sensibili rimangono sul dispositivo, potenzialmente migliorando la privacy dell’utente. Inoltre, la possibilità di utilizzare la potenza di calcolo già presente nei chip Snapdragon può ridurre i costi operativi legati al cloud, un fattore che potrebbe influenzare le strategie di sviluppo di nuovi occhiali smart da parte di produttori e startup.
Prospettive future e limitazioni attuali
Sebbene il modello sia pronto per l’integrazione hardware, al momento non sono stati annunciati occhiali commerciali che lo includano. La disponibilità di una soluzione AI locale apre la strada a ulteriori sperimentazioni da parte di produttori di dispositivi indossabili, ma la reale adozione dipenderà da fattori quali la capacità di gestire il consumo energetico, l’interfaccia utente e la qualità dell’esperienza di riconoscimento visivo‑linguistico. PrismML ha dichiarato l’obiettivo più ampio di promuovere AI “open‑weight” su dispositivi, un percorso che richiederà ulteriori collaborazioni con fornitori di chip e produttori di hardware.
