LLM मधील 'हॅलुसिनेशन' रोखण्यासाठी 'Probably' ने अचूक अभियांत्रिकीद्वारे $९ दशलक्ष निधी उभारला

जसे लार्ज लँग्वेज मॉडेल्स (LLMs) व्यावसायिक कार्यप्रवाहामध्ये (workflows) अधिकाधिक समाविष्ट होत आहेत, तसा उद्योग एका सततच्या अडथळ्याचा सामना करत आहे: अगदी प्रगत मॉडेल्समध्येही चुकीची माहिती किंवा भ्रम (hallucinate) निर्माण करण्याची प्रवृत्ती असते. 'Probably' नावाचे स्टार्टअप या आव्हानाचा थेट सामना करत असून, AI विश्वासार्हतेसाठी अधिक कडक आणि 'डिटरमिनिस्टिक' (deterministic) दृष्टिकोन विकसित करण्यासाठी Andreessen Horowitz च्या नेतृत्वाखाली $९ दशलक्ष सीड फंडिंग मिळवले आहे.

९९.९९% अचूकतेकडे वाटचाल

संस्थापक पीटर एलियास यांच्या नेतृत्वाखालील 'Probably' चे मुख्य ध्येय म्हणजे LLMs चे संभाव्य स्वरूप (probabilistic nature) आणि नियतकालिक प्रणालींकडून (deterministic systems) अपेक्षित असलेले ९९.९९% अचूकतेचे मानक यातील दरी कमी करणे हे आहे. अत्यंत संवेदनशील वातावरणात, एक छोटीशी तथ्यात्मक चूक देखील AI साधन निरुपयोगी बनवू शकते. हे सोडवण्यासाठी, 'Probably' अचूकता ही केवळ मॉडेलच्या आकारावर अवलंबून असते या कल्पनेपासून दूर जात असून, त्याऐवजी "हारनेस इंजिनिअरिंग" (harness engineering) वर लक्ष केंद्रित करत आहे.

कंपनीचे प्रमुख उत्पादन हे जटिल डेटासेटमधून निष्कर्ष काढण्यासाठी डिझाइन केलेले एक डेटा सायन्स टूल आहे. संवादात्मक प्रतिसाद देणाऱ्या सामान्य चॅटबॉट्सच्या उलट, 'Probably' चे टूल प्रत्येक उत्तरासोबत एक विशिष्ट संदर्भ (citation) आणि पारदर्शक ऑडिट ट्रेल प्रदान करते, ज्यामुळे वापरकर्त्यांना प्रत्येक आउटपुटमागील तर्क तपासणे शक्य होते.

"डेटा सायन्स मेक सूट" (Data Science Mech Suit) आर्किटेक्चर

केवळ एका अवाढव्य मॉडेलच्या तर्क करण्याच्या क्षमतेवर अवलंबून न राहता, 'Probably' एलियास यांनी "डेटा सायन्स मेक सूट" (data science mech suit) असे संबोधलेल्या प्रणालीचा वापर करते. हे आर्किटेक्चर एका विस्तृत हारनेस सिस्टमप्रमाणे कार्य करते, जिथे LLM चे सुरुवातीचे आउटपुट त्वरित एका 'डिटरमिनिस्टिक व्हॅलिडेटर'द्वारे तपासले जाते.

जर LLM ने असा निकाल दिला जो मूळ डेटासेटशी तंतोतंत जुळत नसेल, तर व्हॅलिडेटर तो नाकारतो. महत्त्वाचे म्हणजे, LLM ला विशेषतः या व्हॅलिडेटरच्या विरुद्ध प्रशिक्षित केले जाते, ज्यामुळे वेग आणि तथ्यात्मक अखंडतेसाठी ऑप्टिमाइझ केलेली एक 'क्लोज्ड-लूप' (closed-loop) सिस्टम तयार होते. हा दृष्टिकोन एका मूलभूत तत्त्वावर आधारित आहे: अभियांत्रिकीद्वारे संदर्भ सुधारून आणि संदिग्धता कमी करून, तुम्ही प्रचंड संगणकीय शक्तीचा (computational brute force) वापर न करता मॉडेलला "योग्य गोष्ट करण्यास" भाग पाडू शकता.

लहान, स्थानिक मॉडेल्सद्वारे कार्यक्षमता

'Probably' च्या दृष्टिकोनाचा सर्वात महत्त्वाचा तांत्रिक परिणाम म्हणजे लहान आणि अधिक कार्यक्षम मॉडेल्स वापरण्याची क्षमता. "मेक सूट" प्रमाणीकरण आणि संदर्भ सुधारण्याचे कठीण काम हाताळत असल्यामुळे, ही प्रणाली "फ्रंटियर मॉडेल्सपेक्षा चार श्रेणींनी कमकुवत" असलेल्या मॉडेल्सवर देखील कार्य करू शकते.

This shift has massive economic and operational benefits:

• Reduced Token Costs: Smaller models significantly lower the per-query cost, a vital factor as enterprises look to optimize AI budgets.
• Local Execution: These lighter models can run on local hardware, such as desktop computers, rather than requiring expensive, high-latency data center connections.
• Scalability: The engine is designed to be extensible beyond data science into precision-sensitive sectors like accounting and medical services.

Challenging the Big AI Lab Incentive Model

Elias points out a structural misalignment in the current AI landscape: major AI labs are incentivized to build massive, general-purpose models that require frequent user corrections. Since these labs often charge based on token usage, more errors and more follow-up queries can actually increase revenue. By focusing on precision and "reducing ambiguity" through engineering rather than scale, Probably is carving out a niche for mission-critical AI applications where reliability is the only metric that matters.

Key Takeaways

• Deterministic Validation: Probably uses a "mech suit" architecture to check LLM outputs against a deterministic validator, aiming for 99.99% accuracy.
• Cost-Effective Engineering: By reducing ambiguity through better context engineering, the system can run on much smaller, cheaper models that can operate on local hardware.
• Precision-First Focus: The technology is designed to move AI into high-stakes, precision-sensitive industries like medicine and finance where hallucinations are unacceptable.