Software engineering has always chased the wrong productivity metrics. Managers counted lines of code. Agile teams tracked story points. None of it reliably measured whether a developer was thinking clearly or simply typing a lot. Nvidia CEO Jensen Huang thinks he has a better gauge, and it has nothing to do with keyboards. During a recent appearance on the All-In Podcast following GTC 2026, Huang argued that the real measure of a modern engineer’s value is how many AI tokens they consume relative to their salary. The message was direct: if you earn half a million dollars a year but spend less than half that on large language model services, you are probably failing to use the tools that justify your paycheck.
A Hard Ratio
The metric Huang described is jarringly simple. Take an engineer’s annual compensation. Compare it to their yearly tab for LLM API calls, fine-tuning runs, and agentic inference. If a highly skilled engineer earning $500,000 per year racks up less than $250,000 in AI token costs, Huang sees a problem. It suggests the developer is either working in isolation from modern assistance or treating AI like a glorified search engine rather than a genuine collaborator.
This is not a license for reckless spending. It is a test of load-bearing cognition. Huang’s premise is that elite engineers should offload as much mental drudgery as possible to the most capable models available. Debugging sessions that once sprawled across three days can compress into hours when a model holds the entire codebase in context. System design debates that used to require lengthy meetings can resolve through rapid prototyping with a reasoning model. For Huang, the $250,000 threshold is less a budget ceiling and more a floor. It represents the minimum intelligence subsidy a top-tier engineer should need to operate at full capacity.
Developers who fall below that line are doing too much of the work themselves. They trace bugs manually, write boilerplate by hand, and reread documentation that a well-prompted model could synthesize in seconds. In an era where inference costs are falling and context windows are expanding, frugality with tokens signals underutilization, not discipline. An engineer who fails to aggressively utilize AI to augment their output is, by this logic, underperforming.
Tokens as a Proxy for Leverage
Traditional engineering management loves tangible output. Jira tickets closed. Commits pushed. Features shipped. These numbers feel safe because they are countable. Huang’s framework largely discards them. Under his logic, a senior staff engineer might produce fewer raw commits than a mid-level hire while generating far more value, because their real product is decisions. Tokens become the ledger for those decisions.
When an engineer spends heavily on LLM inference, they are not merely buying text generation. They are buying parallelized thought. A $500,000 engineer throwing massive context windows at a refactoring problem is essentially running a dozen simultaneous cognitive threads, checking edge cases across microservices, and stress-testing architectural assumptions without yet writing a single line of production code. The tokens convert salary hours into compressed outcomes. They purchase speed, architectural foresight, and debugging capabilities that would otherwise eat hundreds of manual hours.
This flips the old incentive structure. Engineering leaders have historically negotiated hard for cloud compute discounts and treated SaaS procurement as a cost center to minimize. Huang suggests that mindset is backwards for AI. The token budget should scale with talent. If you hire expensive brains and then starve them of the most expensive models, you trap them in manual workflows. They become high-priced typists. The goal is what Huang implies is intelligence density: maximum applied cognition per human hour, even if the cloud bill looks alarming at first glance. If an engineer is not consuming enough tokens to justify their high compensation, they are likely failing to offload the cognitive heavy lifting to AI, thereby limiting their potential impact on the organization.
Keep the Team, Expand the Compute
Rising operational costs usually trigger headcount reviews. CFOs see ballooning API bills and reflexively ask who can be cut. Huang offers the opposite prescription. Instead of shrinking the team to fit a budget, companies should optimize the budget to empower the team.
Argument opiera się na kosztach zastąpienia i narzucie koordynacyjnym. Tradycyjna organizacja oprogramowania może zatrudnić trzydziestu inżynierów do utrzymywania monolitu, wzajemnego sprawdzania pull requestów i powolnej migracji usług. Mniejszy zespół pięciu głęboko wzmocnionych inżynierów, z których każdy intensywnie wykorzystuje kwoty tokenów klasy enterprise, mógłby dorównać tej przepustowości lub ją przewyższyć. Oszczędności nie wynikają z samej pozycji w budżecie na API. Pojawiają się one dzięki brakowi opóźnień w komunikacji, skróceniu cykli rekrutacyjnych i wyeliminowaniu biurokratycznego spowolnienia.
Ta strategia działa tylko wtedy, gdy zatrudnisz inżynierów potrafiących celowo kierować masowymi przepływami tokenów. Istnieje zasadnicza różnica między programistą, który wkleja stack trace do czatbota, a takim, który orkiestruje wieloagentowe potoki, zarządza bogatymi bibliotekami kontekstu i rygorystycznie weryfikuje halucynowane wyniki. Ten drugi profil jest trudniejszy do znalezienia. Właśnie dlatego Huang wiąże tę metrykę z wynagrodzeniem. Wysokie wynagrodzenie powinno korelować z wysokimi umiejętnościami orkiestracji. Nie płaci się komuś pół miliona dolarów za to, by raz w tygodniu wysłał prompt do modelu. Płaci się im za zarządzanie ekosystemem automatycznego rozumowania, który buduje złożone systemy z niespotykaną dotąd prędkością.
Co to oznacza w praktyce
Dla organizacji inżynieryjnych stosunek tokenów do wynagrodzenia jest mniej sztywną regułą księgową, a bardziej punktem kontrolnym kultury. Liderzy powinni pytać, czy ich najlepiej opłacani programiści mają dostęp, szkolenia i mandat do agresywnego korzystania z AI. Czy przeprowadzają analizę długiego kontekstu na kodzie legacy, czy wciąż przeszukują logi linijka po linijce za pomocą grep? Czy używają narzędzi kodujących opartych na agentach do testów integracyjnych, czy piszą mocki ręcznie? Czy ich projekty są ograniczane przez ludzką uwagę, czy przez limity zapytań API?
Jeśli odpowiedź wskazuje na ludzkie wąskie gardła, rozwiązaniem rzadko jest żądanie większej liczby godzin pracy. Zazwyczaj polega ono na podniesieniu sufitu tokenowego. Pozwól inżynierowi uruchamiać więcej agentów. Pozwól im utrzymywać trwałe okno kontekstowe dla całej sieci usług (service mesh). Pozwól im iterować nad architekturą pięćdziesiąt razy po południu, zamiast dwa razy w tygodniu. Gdy zużycie tokenów jest postrzegane jako oznaka inżynierii o wysokiej dźwigni, a nie jako niepotrzebny koszt, struktury decyzyjne wewnątrz firm ulegają zmianie.
Oczywiście samo wydawanie pieniędzy nic nie gwarantuje. Tokeny wlane w trywialne zapytania lub źle sformułowane prompty to po prostu marnotrawstwo. Dyscyplina polega na kierowaniu dużej mocy obliczeniowej na problemy o wysokiej wartości: projektowanie międzyusługowe, audyt bezpieczeństwa, klonowanie zachowań na potrzeby migracji systemów legacy oraz generowanie syntetycznych danych treningowych. Inżynierowie, którzy opanują tę umiejętność, stają się mnożnikami. Ci, którzy tego nie potrafią, niezależnie od wynagrodzenia, wydają się kosztowni w dokładnie niewłaściwy sposób.
Główny wniosek
Teza Huanga sprowadza się ostatecznie do redefinicji wydatków na AI. Przestań traktować tokeny LLM jak podatek operacyjny. Traktuj je jako surowiec, który zostaje przekształcony w prędkość inżynieryjną. W takim ujęciu inżynier, który