DeepMind ha presentato DiffusionGemma questa settimana, un modello linguistico open-weight in grado di generare circa 1.500 token al secondo su una singola GPU H100, mentre il modello standard Gemma 4 raggiunge un massimo di circa 303 token al secondo. Questo incremento di velocità è fondamentale perché potrebbe ridurre il collo di bottiglia della latenza che rallenta gli agenti basati su IA nelle applicazioni in tempo reale.

Come DiffusionGemma supera il paradigma del token per token

La maggior parte dei moderni modelli linguistici genera testo in modo autoregressivo: predice un token, lo reinserisce nel modello e poi predice quello successivo. Questo ciclo "da sinistra a destra" impone un stretto accoppiamento tra calcolo e memoria, poiché i pesi del modello devono essere consultati per ogni singolo token. DiffusionGemma sostituisce questo ciclo con un processo di diffusione discreta che tratta un blocco di 256 token come un unico insieme di dati rumorosi. Il modello rimuove quindi il rumore dall'intero blocco in parallelo, spostando il carico di lavoro dai ripetuti lookup dei pesi a una maggiore quantità di calcolo per passaggio. Su hardware eccellente nel calcolo parallelo, come l'H100 di Nvidia, questo compromesso ripaga ampiamente.

Perché la velocità è importante per gli agenti IA

Gli agenti autonomi eseguono tipicamente un ciclo di ricerca, sintesi e test. Ogni passaggio può comportare diverse chiamate al modello, quindi qualsiasi latenza per token si accumula rapidamente. Quando un modello rallenta, l'intera pipeline dell'agente si intasa, aumentando i costi e degradando l'esperienza utente.

Il compromesso delle prestazioni

La velocità di DiffusionGemma comporta un costo misurabile in termini di capacità pura. Nel benchmark AIME — una suite che misura ragionamento, fattualità e comprensione del linguaggio — DiffusionGemma ottiene un punteggio di 69,1, mentre Gemma 4 raggiunge 88,3. L'approccio basato sulla diffusione mostra anche debolezze con output molto brevi e occasionali "balbettii" dei token, in cui il testo generato si ripete o esita. Quando più di circa 32 utenti interrogano il modello simultaneamente, il vantaggio del parallelismo si erode e il metodo autoregressivo standard recupera in termini di throughput complessivo.

Dove si inserisce ogni approccio

I dati suggeriscono una strategia di implementazione ibrida:

  • Modelli di diffusione per task a bassa concorrenza e sensibili alla latenza che non richiedono un ragionamento profondo — ad esempio, generare brevi prompt, compilare template o produrre bozze di testo.
  • Modelli autoregressivi per carichi di lavoro ad alta concorrenza, ragionamenti complessi o generazione di testi lunghi, dove l'accuratezza prevale sulla velocità pura.

Cosa implica questo cambiamento per l'infrastruttura IA

Se i guadagni di velocità possono essere ottenuti ripensando l'algoritmo di generazione piuttosto che limitarsi a scalare la dimensione del modello, i maggiori vantaggi in termini di efficienza potrebbero derivare da miglioramenti dell'infrastruttura di base. Il compromesso significa anche che gli sviluppatori devono accettare un modesto calo della qualità per determinati casi d'uso.

Controargomentazione: la diffusione è pronta per l'uso su larga scala?

L'implementazione della diffusione fatica con i prompt brevi e può produrre output instabili.

Cosa osservare in futuro

  • Studi di scalabilità: i modelli di diffusione più grandi riusciranno a colmare il divario di capacità preservando la velocità?
  • Ottimizzazioni hardware: con l'evoluzione delle GPU, l'equilibrio tra i passaggi di diffusione intensivi in termini di calcolo e l'autoregressione intensiva in termini di pesi potrebbe spostarsi di nuovo.
  • Algoritmi di routing: i primi prototipi di router di modelli consapevoli del task riveleranno quanto della latenza complessiva del sistema potrà essere ridotta tramite la selezione dinamica.

In sintesi

DiffusionGemma dimostra che ripensare il ciclo di generazione fondamentale può tagliare drasticamente la latenza senza aggiungere altri chip. Questa tecnologia non è una sostituzione totale dei modelli autoregressivi, ma offre uno strumento potente per uno stack IA ibrido in cui velocità e accuratezza sono bilanciate su base task. La prossima ondata di infrastrutture IA sarà probabilmente giudicata non solo per la dimensione del modello, ma per quanto abilmente instraderà il lavoro attraverso il tipo di motore più adatto.