Secondo quanto annunciato recentemente, Intel ha rilasciato il primo importante software per la sua soluzione Arc Pro “Project Battlematrix”, LLM Scaler v1.0, con notevoli miglioramenti. Di seguito รจ riportato l’elenco completo delle funzionalitร e delle ottimizzazioni incluse nel contenitore LLM Scaler v1.0:
vLLM:
- Ottimizzazione delle prestazioni di TPOP per input di lunghezza elevata (>4K): prestazioni fino a 1,8x per una lunghezza di sequenza di 40K su un modello KPI da 32B e prestazioni 4,2x per una lunghezza di sequenza di 40K su un modello KPI da 70B
- Ottimizzazioni delle prestazioni con un miglioramento del throughput di circa il 10% per modelli KPI da 8B a 32B rispetto all’ultima versione
- Quantizzazione online per livello per ridurre la memoria GPU richiesta
- Supporto PP (pipeline parallelism) in vLLM (sperimentale)
- torch.compile (sperimentale)
- decodifica speculativa (sperimentale)
- Supporto per l’embedding, un modello di rerank
- Supporto avanzato per modelli multimodali
- Rilevamento automatico della lunghezza massima
- Supporto per il parallelismo dei dati
- Abilitazione dello strumento di benchmark OneCCL
XPU Manager:
- Potenza GPU
- Firmware GPU Aggiornamento
- Diagnostica GPU
- Larghezza di banda della memoria GPU
Secondo Intel, il nuovo stack software รจ stato progettato tenendo conto della facilitร d’uso e degli standard di settore. Il nuovo contenitore, progettato pensando a Linux, รจ ottimizzato per offrire incrementi prestazionali fino all’80% con scalabilitร multi-GPU e trasferimenti dati PCIe P2P. Include inoltre funzionalitร di affidabilitร e gestibilitร di livello enterprise come ECC, SRIOV, telemetria e aggiornamenti firmware remoti.
![](https://www.vgmag.it/wp-content/uploads/2025/12/Banner.png")