I processori Ryzen AI MAX+ di AMD offrono ora ben 96 GB di memoria per la grafica consumer

Secondo quanto annunciato recentemente, AMD ha appena portato l’edge AI a un livello completamente nuovo: con il recente aggiornamento dei driver, l’azienda ha ora reso disponibile il supporto dei grandi modelli di linguaggio (LLM) agli utenti di PC. È interessante notare che, grazie alla tecnologia Variable Graphics Memory (VGM) di AMD, i consumatori possono rendere disponibili fino a 96 GB di memoria grafica per l’iGPU, consentendo l’esecuzione locale di modelli su larga scala. Poiché il modello Llama sopra menzionato è un’implementazione basata su MoE, utilizza solo 17 miliardi di parametri in fase di esecuzione, ma nonostante ciò, i consumatori possono ottenere valori TPS discreti, consentendo all’LLM di essere utilizzato come assistente AI altamente performante.

Ancora più importante, AMD ha compiuto enormi progressi nella dimensione del contesto del modello e, mentre lo standard industriale abituale con i processori consumer era di circa 4096 token, l’azienda è riuscita ad aumentarlo di diverse volte, raggiungendo una lunghezza di contesto di 256.000 token, consentendo un controllo molto maggiore sul flusso di lavoro e senza mai doversi preoccupare delle prestazioni. Questi sono dati significativi da parte di AMD, che dimostrano come la febbre dell’“AI compute” si sia effettivamente estesa anche ai PC consumer.