Febbre da jailbreak, la PS5 diventa anche un mini-datacenter AI locale

L’idea di trasformare una PlayStation 5 in un mini-server AI locale è probabilmente la più bizzarra uscita in queste settimane di grande eccitazione sulla scena causata dall’arrivo dell’exploit Relapse, che ha reso pressoché universale il jailbreak della console Sony, eppure qualcuno questa idea ce l’ha avuta e l’ha anche messa a terra. Un redditor dice di essere riuscito ad avviare Qwen3.8-27B (quindi un modello da 27 miliardi di parametri) grazie a una versione opportunamente modificata di llama.cpp. Inutile cercare di capire il perché di questo progetto: bisogna accontentarsi del buon vecchio, e mai da sottovalutare, “perché posso”. Beninteso, i 16 GB di memoria GDDR6 condivisa e con velocità teorica massima di 448 GB/s non sono specifiche da buttare, ma la GPU e la CPU semplicemente impallidiscono di fronte a sistemi più ottimizzati o anche solo a un PC fisso di buon livello. Inutile sperare in chissà che risultati mirabolanti.

Qwen 27B at ~20 tok/s on a jailbroken PS5's GPU. I forked PS5LM and turned it into a native app
by u/AdIllustrious7246 in LocalLLM Detto questo, a livello tecnico il progetto è stato piuttosto interessante: un primo tentativo basato su una versione non ufficiale di llama.cpp si basava solo sulla CPU e lasciava a disposizione appena 6 GB di memoria, una quantità troppo limitata per gestire modelli più impegnativi. Un altro utente ha deciso di aggirare il problema portando llama.cpp sulla console come applicazione nativa, utilizzando Vulkan attraverso una versione adattata del driver open source RADV, parte del progetto Mesa. Questa soluzione ha permesso di aumentare la memoria disponibile per il modello da 6 a circa 11,4 GB, rendendo possibile l’esecuzione di una versione fortemente quantizzata di Qwen3.8-27B.

---

Lo Smartphone piccolo che va bene a tutti? Motorola Edge 50 Neo, compralo al miglior prezzo da Mediaworld a 319 euro.

CLICCA QUI PER CONTINUARE A LEGGERE

Testi ed immagini Copyright Hdblog.it