Running a large AI model at scale has become less a scientific feat than a brutal math problem about electricity bills and datacenter rent. Every token Gemini generates costs Google something real—silicon cycles, memory bandwidth, and watts drawn from the wall. As query volume grows, fractions of a cent add up to sums that can swallow margins whole. That quiet urgency is behind Frozen v2, an internal server chip project now taking shape inside Google. Rather than refining its general-purpose Tensor Processing Units for another generation, the company is attempting something far more radical: casting the skeleton of the Gemini model directly into the silicon itself.

From Flexible Accelerators to Model-Specific Silicon

Google’s TPUs have been the workhorses of its infrastructure for nearly a decade. They train models, power search ranking algorithms, and even rent out by the hour to cloud customers including Meta and others looking for an alternative to Nvidia’s GPUs. That versatility is exactly what makes a TPU a TPU. It speaks a general vocabulary of matrix multiplication and memory movement, usable by almost any neural network you can describe in software.

Frozen v2 deliberately trades that flexibility away. The chip is being designed as a domain-specific accelerator whose circuits physically mirror portions of Gemini’s own architecture. Where a TPU fetches instructions and interprets them as software operations, Frozen v2 would burn the model’s structural blueprint—the arrangement of its layers and data paths—directly into the chip’s layout. Google expects this tight marriage of model and metal to make the chip six to ten times more efficient than current TPUs at serving AI responses. Fewer compute steps per query means less time waiting for a token to appear, and far less energy spent generating it.

This is not merely a faster version of the same idea. It is a different category of chip, one that trades generality for devotion to a single model family.

Why the First “Frozen” Melted

This approach has roots in an earlier concept attributed to Jeff Dean, Chief Scientist at Google DeepMind. The original “Frozen” proposal suggested pushing specialization even further by hardcoding not just the architecture, but the actual model weights—the billions of tuned parameters that constitute Gemini’s learned behavior—directly into the chip itself.

The logic was sound. If you know exactly which numbers the model will use, why bother fetching them from external memory? You could etch them into the transistors and eliminate entire categories of delay.

The problem was permanence. AI models do not stand still. Google updates Gemini continuously, retraining on new data, adjusting parameters, releasing improved versions. A chip with weights frozen in silicon would become a paperweight the moment a new model revision shipped. That lack of flexibility killed the original concept.

Architecture Without the Anchor

Frozen v2 solves the obsolescence trap by hardcoding the architecture while leaving the weights free to change. Think of it as pouring a custom racetrack instead of welding the car to the road. The shape of the circuit stays fixed, optimized for Gemini’s specific patterns of computation, but the contents flowing through those circuits can be refreshed by loading new weights from memory.

This distinction matters in practice. When engineers train a new Gemini checkpoint, they can deploy it to Frozen v2 hardware without fabricating a new chip. The exact degree of hardcoding is still an open question inside Google; teams must decide precisely which structural elements deserve silicon immortality and which should remain configurable. But the principle is settled. By freezing the shape and fluidly swapping the parameters, Google keeps the efficiency upside without sacrificing the ability to iterate.

The Economics of Keeping It In-House

There is another reason you will not see Frozen v2 listed on Google Cloud’s pricing sheet. Because the chip is so intimately shaped around Gemini’s internals, it would make little sense to outside developers running PyTorch or custom Transformer variants. Google has no plans to sell it as a general-purpose product. It will remain an internal tool, aimed squarely at the crushing demand for inference capacity inside Google’s own datacenters.

הבחירה הזו משקפת מציאות כלכלית בוטה. בשוק ה-generative AI הנוכחי, היכולות של המודלים מתכנסות במהירות. הפער בין המתחרים מסתכם לעיתים קרובות בשאלה מי יכול להרשות לעצמו להריץ את המודל הגדול ביותר בעלות הנמוכה ביותר לכל טוקן. Inference אינו עוד מחשבה משנית לאחר האימון; עבור מוצר בשימוש נרחב כמו Gemini, זוהי ההוצאה הדומיננטית. אם Frozen v2 יקצץ את ההוצאה הזו פי שש או יותר, לגוגל תהיה מרחב תמרון שמתחרים לא יוכלו להשתוות אליו בקלות. היא יכולה או להשאיר את החיסכון כרווח, או להעביר אותו הלאה כעמלות נמוכות יותר לצרכני API ואינטגרציות מוצרים, ובכך להפעיל לחץ כבד על OpenAI, Anthropic ואחרים.

מה זה מרמז על עתיד התעשייה

המהלך של גוגל מרמז גם על הכיוון אליו פונה אסטרטגיית החומרה הרחבה יותר. במשך שנים, אסטרטגיית העבודה הסטנדרטית הייתה לבנות את המאיץ (accelerator) הגמיש ביותר האפשרי ולהשאיר את ההתמחות לידי התוכנה. ה-GPUs של Nvidia שולטות בשוק כי הן מריצות הכל, מדינמיקה מולקולרית ועד למשחקי וידאו ומודלי שפה גדולים. ה-TPUs של גוגל עצמה נולדו באותה רוח של שימושיות רחבה.

Frozen v2 שוברת את המסורת הזו. זוהי הודאה שכאשר משפחת מודלים אחת מניעה נפח שאילתות מספיק גדול, סיליקון מותאם אישית למודל הזה יכול להשתלם פי כמה וכמה. ספקי ענן גדולים (hyperscalers) אחרים פעלו לפי לוגיקה דומה — שבבי Trainium ו-Inferentia של Amazon, למשל — אך הגישה של גוגל עמוקה יותר בכך שהיא מתכננת יחד (co-designing) חומרה סביב ארכיטקטורת מודל ספציפית במקום סוג כללי של רשתות.

הסיכון, כמובן, הוא נוקשות. אם הארכיטקטורה של Gemini תתפתח לכיוון שהמעגלים הקשיחים (hardcoded circuits) לא יוכלו לתמוך בו, גוגל עלולה למצוא את עצמה עם סיליקון יקר שלא יכול להריץ את הרעיונות החדשים ביותר שלה. זו בדיוק הסיבה שהפשרה על ארכיטקטורה בלבד היא משמעותית. היא מציעה דרך אמצע: מספיק התמחות כדי להשיג שיפורים דרמטיים ביעילות, ומספיק גמישות כדי למנוע מצב שבו החברה תהיה תקועה בפינה.

השורה התחתונה

עדיף להבין את Frozen v2 לא כהכרזה על שבב, אלא כהימור אסטרטגי על הצורה העתידית של התחרות בתחום ה-AI. גוגל מהמרת על כך שהמנצחים לא רק יבנו את המודלים הטובים ביותר, אלא יחזיקו בכל ה-stack — מהתוכנית של המודל ועד לאלקטרונים שדוחפים דרך הטרנזיסטור. אם הפרויקט יצליח, התגמול לא יופיע במדדי ביצוע (benchmarks). הוא יופיע בעמודת העלויות של דוח רווחים רבעוני, שבו חיסכון של כמה סנט לכל מיליון טוקנים יכול לצייר מחדש את הגבולות של מה שניתן להשיג מבחינה מסחרית ב-generative AI.