जहाँ Cerebras कस्टम AI चिप्स बनाता है, वहीं फ्रांसीसी स्टार्टअप Kog उन GPUs से प्रदर्शन निचोड़ता है जो उद्यमों के पास पहले से ही हैं। मौजूदा डेटासेंटर हार्डवेयर के लिए लो-लेवल सॉफ्टवेयर को फिर से लिखकर, Kog उन लेटेंसी बाधाओं (latency bottlenecks) को खत्म करता है जो AI वर्कफ़्लो को धीमा कर देती हैं।
कस्टम AI सिलिकॉन की आवश्यकता को चुनौती देना
AI उद्योग अब इन्फरेंस (inference) के लिए विशेष रूप से निर्मित चिप्स की ओर मुड़ गया है। Kog के CEO, Gaël Delalleau का कहना है कि यह धारणा गलत है कि मानक GPUs डिकोडिंग को नहीं संभाल सकते। आधुनिक GPUs—Nvidia H200, AMD MI300X—ऐसी मेमोरी बैंडविड्थ प्रदान करते हैं जिसे वर्तमान सॉफ्टवेयर खाली (idle) छोड़ देता है।
Kog का Kog Inference Engine (KIE) "अत्यंत तेज़ सिंगल-रिक्वेस्ट डिकोडिंग" को लक्षित करता है, जो रियल-टाइम ऐप्स के लिए अनिवार्य है। हाल ही में एक डेमो में, कंपनी ने Laneformer 2B के साथ 3,000 टोकन प्रति सेकंड (TPS) की गति हासिल की, जो उनके स्टैक के लिए ट्यून किया गया एक ओपन-सोर्स 2-बिलियन-पैरामीटर मॉडल है। डेमो में एक छोटे मॉडल का उपयोग किया गया है, लेकिन Kog इन लाभों को बहुत बड़े LLMs तक विस्तारित करने की योजना बना रहा है।
GPU इंजीनियरिंग के लिए एक "हैकर" दृष्टिकोण
ZML जैसे हार्डवेयर-एग्नोस्टिक (hardware-agnostic) प्रदाताओं के विपरीत, Kog गहराई तक जाता है। टीम असेंबली और बाइनरी स्तरों पर GPUs को रिवर्स-इंजीनियर करती है, और सिलिकॉन को महारत हासिल करने के लिए भौतिक नियमों के एक सेट के रूप में देखती है।
वह लो-लेवल फोकस दक्षता का हर कतरा निकाल लेता है, लेकिन इसमें समय लगता है। 11 इंजीनियरों की एक छोटी टीम के साथ, Kog सपोर्ट जोड़ने से पहले प्रत्येक नए GPU आर्किटेक्चर का विश्लेषण करने में हफ्तों या महीनों का समय बिताता है। यह तरीका शीर्ष स्तर का प्रदर्शन देता है लेकिन यह सीमित कर देता है कि Kog कितनी तेज़ी से नए हार्डवेयर को कवर कर सकता है।
उच्च-मूल्य वाले AI उपयोग के मामलों को लक्षित करना
Kog उन क्षेत्रों पर ध्यान केंद्रित करता है जहाँ लेटेंसी का अर्थ है राजस्व की हानि:
- Software engineering: Claude Code जैसे टूल्स मिनटों तक रुक जाते हैं। Kog का लक्ष्य "घंटों इंतज़ार करने" को लगभग तत्काल परिणामों में बदलना है।
- Generative app/game design: उपयोगकर्ताओं को जोड़े रखने और राजस्व प्रवाह बनाए रखने के लिए प्रॉम्प्ट-टू-ऐप पाइपलाइनों को तेज़ इटरेशन (iteration) की आवश्यकता होती है।
कंपनी का अगला मील का पत्थर अपने पहले प्रमुख बड़े पैमाने के मॉडल पर 10× स्पीडअप हासिल करना है। Scaleway, Bpifrance और French Tech 2030 प्रोग्राम द्वारा समर्थित, Kog खुद को यूरोप के AI संप्रभुता (sovereignty) अभियान में एक प्रमुख खिलाड़ी के रूप में स्थापित करता है।
मुख्य बातें (Key Takeaways)
- हार्डवेयर के बजाय ऑप्टिमाइज़ेशन: Kog अत्यधिक लो-लेवल सॉफ्टवेयर इंजीनियरिंग के साथ Nvidia H200 और AMD MI300X GPUs की मेमोरी बैंडविड्थ को उसकी सीमा तक ले जाता है।
- लेटेंसी बाधा को तोड़ना: स्टार्टअप ऑटोमेटेड कोडिंग और जनरेटिव डिज़ाइन जैसे रियल-टाइम प्रोफेशनल वर्कफ़्लो के लिए LLM इन्फरेंस स्पीड में 30× वृद्धि का लक्ष्य रखता है।
- डीप-लेवल इंजीनियरिंग: एक "हैकर" मानसिकता अपनाकर, Kog GPU असेंबली और बाइनरी कोड को रिवर्स-इंजीनियर करता है ताकि ऐसा प्रदर्शन प्राप्त किया जा सके जो मानक स्टैक नहीं कर सकते।
एक फ्रांसीसी स्टार्टअप, Kog का कहना है कि उसका Kog Inference Engine, उन्हीं Nvidia H200 या AMD MI300X GPUs पर large-language-model (LLM) डिकोडिंग को 30 गुना तक तेज़ चलाने का लक्ष्य रखता है, जो डेटा-सेंटर ऑपरेटरों के पास पहले से ही हैं।
गति के लिए दबाव अभी क्यों महत्वपूर्ण है
LLM इन्फरेंस अब कोड-कम्प्लीशन असिस्टेंट, ऑन-द-फ्लाई कंटेंट जनरेटर और इंटरैक्टिव गेम-डिज़ाइन टूल्स जैसे उत्पादों की गति को धीमा कर देता है। उन स्थितियों में, उपयोगकर्ता के प्रॉम्प्ट और मॉडल के जवाब के बीच का अंतर सीधे उत्पादकता और राजस्व को प्रभावित करता है। CUDA जैसे हाई-लेवल APIs GPU मेमोरी बैंडविड्थ के एक बड़े हिस्से को खाली छोड़ देते हैं, विशेष रूप से टोकन-दर-टोकन डिकोडिंग के दौरान, जो रियल-टाइम उपयोग के मामलों में प्रमुख होता है।
Kog का लो-लेवल समाधान
Kog पारंपरिक सॉफ्टवेयर लेयर्स को छोड़ देता है और सीधे सिलिकॉन से बात करता है। इसके इंजीनियर असेंबली स्तर पर GPU को रिवर्स-इंजीनियर करते हैं, और हार्डवेयर को एक 'ब्लैक बॉक्स' के रूप में एब्स्ट्रैक्ट करने के बजाय, उसे मानने योग्य बाधाओं (constraints) के एक सेट के रूप में देखते हैं। इसका परिणाम एक कस्टम एक्जीक्यूशन पाथ (execution path) है जो GPU के मेमोरी पाइप्स के माध्यम से डेटा को लगभग पूरी क्षमता पर प्रवाहित रखता है।
हाल ही में एक डेमो में कंपनी ने Laneformer 2B—जो उनके स्टैक के लिए ट्यून किया गया एक 2-बिलियन-पैरामीटर ओपन-सोर्स मॉडल है—को चलाया और उच्च टोकन थ्रूपुट (throughput) की रिपोर्ट दी। बड़े व्यावसायिक सिस्टमों की तुलना में यह मॉडल छोटा है, लेकिन गति में वृद्धि दिखाती है कि एक विशेष रूप से निर्मित सॉफ्टवेयर स्टैक उसी हार्डवेयर से क्या निकाल सकता है।
इंजीनियरिंग ट्रेड-ऑफ (Trade-off)
इसका लाभ एक भारी लागत के साथ आता है। Kog की 11 इंजीनियरों की टीम किसी भी नए GPU आर्किटेक्चर को सपोर्ट करने से पहले उसका विश्लेषण करने में हफ्तों या महीनों का समय बिताती है। वह गहराई लक्षित कार्डों पर उच्च प्रदर्शन देती है, लेकिन इसका मतलब यह भी है कि Kog बाजार में आने वाले हर नए GPU के लिए तुरंत सपोर्ट नहीं जोड़ सकता है। ग्राहकों को तभी लाभ होता है जब उनके पास Nvidia H200 या AMD MI300X GPUs हों जिन्हें Kog पहले ही ऑप्टिमाइज़ कर चुका है।
किसे लाभ होगा
- Software-engineering tools – Products that generate code, such as Claude Code, often stall for minutes while the model processes a request. Cutting that wait to a few seconds would make interactive development far more fluid.
- Generative design pipelines – Studios turning textual prompts into app prototypes or game assets need rapid iteration to keep creators engaged. Faster decoding shortens design loops and boosts conversion rates.
Both sectors translate latency directly into lost billable hours or churn, so a 30× speed boost could be a decisive competitive edge.
The broader picture
Kog’s strategy runs counter to the industry trend of building custom AI silicon. Companies like Cerebras pour billions into chips that promise higher throughput per watt. Kog argues that today’s GPUs already have enough memory bandwidth for decoding; the missing piece is software that can actually use it. If the claim holds at scale, developers could defer costly hardware upgrades and rely on a software upgrade to achieve near-real-time inference.
Potential headwinds
- Maintenance burden – Every new GPU generation will require fresh reverse-engineering. As the market diversifies, the small team could be stretched thin.
- Scalability to larger models – The demo used a 2 B-parameter model. Scaling the same techniques to much larger systems may hit memory-capacity limits or demand additional engineering tricks not yet disclosed.
- Alternative paths – Cloud providers already offer inference-optimized instances that bundle specialized chips and software. For some workloads, the marginal gain from Kog’s stack may not outweigh the convenience of a managed service.
What to watch
- First large-model rollout – Kog says its next milestone is a 10× speedup on a “major large-scale model.” The gap between the 2 B demo and an enterprise-grade model will be the clearest test of the approach.
- Hardware support expansion – Adding support for newer GPUs or other accelerators will signal whether the low-level model can keep pace with rapid hardware cadence.
Takeaway
Kog shows that squeezing more work from existing GPUs is possible when you rewrite the software stack from the ground up. The promise of 30× faster LLM decoding could reshape how developers price and architect AI services—provided the company can sustain the intense engineering effort needed for each new piece of silicon.