NVIDIA

NVIDIA TensorRT potenzia le prestazioni di Stable Diffusion 3.5 sulle GPU NVIDIA GeForce RTX e RTX PRO

Stable Diffusion 3.5 รจ uno dei modelli di generazione immagini piรน avanzati disponibili oggi, capace di trasformare prompt testuali in immagini straordinarie e fotorealistiche. Nellโ€™appuntamento di questa settimana diย RTX AI Garage, scopriamo come NVIDIA e Stability AI hanno collaborato per rendere SD3.5 piรน veloce, leggero e accessibile su PC e workstation con GPU RTX. Grazie alla quantizzazione in FP8 con NVIDIA TensorRT,ย SD3.5 Largeย ora richiede solo circa 11 GB di VRAM, con una riduzione del 40% rispetto al modello originale, e funziona fino a 2,3 volte piรน velocemente rispetto alla versione BF16 in PyTorch. Il risultato? Prestazioni locali migliorate su un numero maggiore di sistemi.

Gli highlight di RTX AI Garage includono:

  • Requisiti VRAM ridotti: Stable Diffusion 3.5 Large ora richiede solo 11 GB di VRAM, rendendolo utilizzabile su molti piรน laptop e desktop.
  • Prestazioni piรน rapide: Lโ€™accelerazione tramite TensorRT raddoppia o quasi la velocitร  di inferenza per i modelli Large e Medium.
  • Ottimizzato per le GPU RTX piรน recenti: Le GeForce RTX delle serie 40 e 50, cosรฌ come le GPU RTX PRO con architetture Ada e Blackwell, sono ora ancora piรน adatte a gestire questi modelli grazie ai Tensor Core potenziati.
  • Nuovo TensorRT per SDK RTX: รˆ ora disponibile il nuovo SDK standalone, con una dimensione di installazione otto volte piรน piccola e un motore JIT (just-in-time) per una distribuzione piรน semplice.

Gli sviluppatori possono iniziare subito a testare il nuovo SDK TensorRT per RTX tramiteย NVIDIA Developerย o la preview di Windows ML. I modelli quantizzati sono disponibili anche sullaย pagina Hugging Face di Stability AI. Inoltre, NVIDIA e Stability AI rilasceranno SD3.5 comeย microservizio NVIDIA NIMย a luglio, rendendo ancora piรน semplice lโ€™implementazione per sviluppatori di app e provider di servizi AI.

NVIDIA

V MENSILE
Clicca sulla copertina per leggere
NeoGeo Collector’s Bible Special Preview