M3 Ultra esegue DeepSeek R1 con 671 miliardi di parametri utilizzando 448 GB di memoria unificata

Secondo quanto rivelato recentemente, all’inizio di questa settimana Apple ha presentato il nuovo Mac Studio, che ospita il suo chip M3 Ultra più potente, che ha superato i benchmark di performance dell’azienda stessa. Il chip è dotato di una CPU fino a 32 core e di una GPU fino a 80 core, che garantiscono prestazioni di calcolo e grafiche superiori rispetto al chip M2 Ultra. Il chip M3 Ultra si è dimostrato molto capace anche nell’esecuzione del modello DeepSeek R1, un enorme modello da 671 miliardi di parametri, rispetto alle precedenti iterazioni del silicio Apple. Date le enormi dimensioni del modello R1, sono necessarie potenti configurazioni di GPU con una quantità significativa di VRAM per funzionare in modo efficiente.

Una configurazione PC convenzionale richiederebbe più GPU, portando il consumo energetico a livelli estremi, ma il chip M3 Ultra è riuscito a far funzionare il modello in modo molto più efficiente. L’architettura di memoria unificata del chip M3 Ultra fornisce un pool condiviso di memoria ad alta larghezza di banda, che consente ai modelli di intelligenza artificiale di utilizzare risorse simili alla VRAM. Si noti che i modelli AI più piccoli funzionano in modo coerente e senza problemi senza utilizzare tutte le risorse, ma il modello DeepSeek R1 con 671 miliardi di parametri richiede la configurazione più alta del chip M3 Ultra di Apple: ben 512 GB. Tuttavia, macOS impone un limite all’allocazione della VRAM per impostazione predefinita e Dave Lee ha dovuto aumentare manualmente il limite attraverso il Terminale, portandolo a 448 GB.