Running a large AI model at scale has become less a scientific feat than a brutal math problem about electricity bills and datacenter rent. Every token Gemini generates costs Google something real—silicon cycles, memory bandwidth, and watts drawn from the wall. As query volume grows, fractions of a cent add up to sums that can swallow margins whole. That quiet urgency is behind Frozen v2, an internal server chip project now taking shape inside Google. Rather than refining its general-purpose Tensor Processing Units for another generation, the company is attempting something far more radical: casting the skeleton of the Gemini model directly into the silicon itself.
From Flexible Accelerators to Model-Specific Silicon
Google’s TPUs have been the workhorses of its infrastructure for nearly a decade. They train models, power search ranking algorithms, and even rent out by the hour to cloud customers including Meta and others looking for an alternative to Nvidia’s GPUs. That versatility is exactly what makes a TPU a TPU. It speaks a general vocabulary of matrix multiplication and memory movement, usable by almost any neural network you can describe in software.
Frozen v2 deliberately trades that flexibility away. The chip is being designed as a domain-specific accelerator whose circuits physically mirror portions of Gemini’s own architecture. Where a TPU fetches instructions and interprets them as software operations, Frozen v2 would burn the model’s structural blueprint—the arrangement of its layers and data paths—directly into the chip’s layout. Google expects this tight marriage of model and metal to make the chip six to ten times more efficient than current TPUs at serving AI responses. Fewer compute steps per query means less time waiting for a token to appear, and far less energy spent generating it.
This is not merely a faster version of the same idea. It is a different category of chip, one that trades generality for devotion to a single model family.
Why the First “Frozen” Melted
This approach has roots in an earlier concept attributed to Jeff Dean, Chief Scientist at Google DeepMind. The original “Frozen” proposal suggested pushing specialization even further by hardcoding not just the architecture, but the actual model weights—the billions of tuned parameters that constitute Gemini’s learned behavior—directly into the chip itself.
The logic was sound. If you know exactly which numbers the model will use, why bother fetching them from external memory? You could etch them into the transistors and eliminate entire categories of delay.
The problem was permanence. AI models do not stand still. Google updates Gemini continuously, retraining on new data, adjusting parameters, releasing improved versions. A chip with weights frozen in silicon would become a paperweight the moment a new model revision shipped. That lack of flexibility killed the original concept.
Architecture Without the Anchor
Frozen v2 solves the obsolescence trap by hardcoding the architecture while leaving the weights free to change. Think of it as pouring a custom racetrack instead of welding the car to the road. The shape of the circuit stays fixed, optimized for Gemini’s specific patterns of computation, but the contents flowing through those circuits can be refreshed by loading new weights from memory.
This distinction matters in practice. When engineers train a new Gemini checkpoint, they can deploy it to Frozen v2 hardware without fabricating a new chip. The exact degree of hardcoding is still an open question inside Google; teams must decide precisely which structural elements deserve silicon immortality and which should remain configurable. But the principle is settled. By freezing the shape and fluidly swapping the parameters, Google keeps the efficiency upside without sacrificing the ability to iterate.
The Economics of Keeping It In-House
There is another reason you will not see Frozen v2 listed on Google Cloud’s pricing sheet. Because the chip is so intimately shaped around Gemini’s internals, it would make little sense to outside developers running PyTorch or custom Transformer variants. Google has no plans to sell it as a general-purpose product. It will remain an internal tool, aimed squarely at the crushing demand for inference capacity inside Google’s own datacenters.
Quella scelta riflette una cruda realtà economica. Nell'attuale mercato dell'IA generativa, le capacità dei modelli si stanno rapidamente avvicinando. Il divario tra i concorrenti spesso si riduce a chi può permettersi di eseguire il modello più grande al minor costo per token. L'inferenza non è più un elemento secondario rispetto all'addestramento; per un prodotto ampiamente utilizzato come Gemini, rappresenta la spesa dominante. Se Frozen v2 riduce tale spesa di un fattore pari o superiore a sei, Google ottiene un margine di manovra che i concorrenti non possono eguagliare facilmente. Può decidere di trattenere i risparmi sotto forma di margine o di trasferirli ai consumatori delle API e alle integrazioni di prodotto tramite prezzi più bassi, mettendo sotto pressione OpenAI, Anthropic e altri.
Cosa significa questo per il settore
La mossa di Google suggerisce anche la direzione verso cui si sta muovendo la strategia hardware più ampia. Per anni, la strategia standard è stata quella di costruire l'acceleratore più flessibile possibile e lasciare che il software si occupasse della specializzazione. Le GPU di Nvidia dominano perché eseguono di tutto, dalla dinamica molecolare ai videogiochi, fino ai grandi modelli linguistici. Anche le TPU di Google sono state concepite con lo stesso spirito di ampia utilità.
Frozen v2 rompe con questa tradizione. È l'ammissione che, quando una singola famiglia di modelli genera un volume di query sufficiente, un silicio personalizzato su misura per quel modello può ripagarsi da solo molte volte. Altri hyperscaler hanno seguito una logica simile — i chip Trainium e Inferentia di Amazon, ad esempio — ma l'approccio di Google va più a fondo, co-progettando l'hardware attorno a una specifica architettura di modello piuttosto che a una classe generale di reti.
Il rischio, ovviamente, è la rigidità. Se l'architettura di Gemini dovesse evolversi in una direzione che i circuiti cablati non possono accogliere, Google potrebbe ritrovarsi con un silicio costoso incapace di eseguire le sue idee più recenti. È proprio per questo che il compromesso basato esclusivamente sull'architettura è importante. Offre una via di mezzo: una specializzazione sufficiente per ottenere guadagni di efficienza drastici e una flessibilità sufficiente per evitare di mettere l'azienda con le spalle al muro.
Il vero punto chiave
Frozen v2 va compreso non tanto come l'annuncio di un chip, quanto come una scommessa strategica sulla forma futura della competizione nell'IA. Google scommette che i vincitori non si limiteranno a costruire i modelli migliori, ma possiederanno l'intero stack: dal progetto del modello fino agli elettroni che scorrono attraverso il transistor. Se il progetto avrà successo, il ritorno non si vedrà nei punteggi dei benchmark. Si vedrà nella colonna dei costi di un rapporto trimestrale sugli utili, dove pochi centesimi risparmiati per milione di token possono ridisegnare i confini di ciò che è commercialmente possibile nell'IA generativa.