Foreman लार्ज-लैंग्वेज-मॉडल (LLM) एजेंट्स को नेटिव Kubernetes रिसोर्सेज में बदल देता है, जिससे टीमें लागत और सुरक्षा को सख्त नियंत्रण में रखते हुए प्रोडक्शन में AI-जनरेटेड कोड चला सकती हैं।
यह विचार आज के देव वर्कफ़्लो (dev workflow) में कैसे फिट बैठता है
एंटरप्राइजेज उन LLMs के साथ प्रयोग कर रहे हैं जो कोड लिख सकते हैं, लेकिन अधिकांश कार्यान्वयन (implementations) मॉडल को एक भरोसेमंद 'ब्लैक बॉक्स' की तरह मानते हैं। मॉडल से मिलने वाला एक अकेला "done" सिग्नल बिना परीक्षण किए बदलावों को सीधे रिपॉजिटरी में भेज सकता है, जिससे सुरक्षा और विश्वसनीयता संबंधी चिंताएं बढ़ जाती हैं। साथ ही, क्लाउड पर AI सेवाओं को चलाना तेज़ी से महंगा हो सकता है, खासकर जब CI पाइपलाइनों से बार-बार एक ही मॉडल को कॉल किया जाता है।
Foreman का समाधान पूरे कोडिंग लूप को एक Kubernetes क्लस्टर के भीतर एम्बेड करना है। Foreman, Kubernetes रिसोर्सेज के रूप में चलता है।
चार मुख्य ऑब्जेक्ट्स जो इसे संभव बनाते हैं
- Agent – एक वर्कर को परिभाषित करता है। यह कॉल किए जाने वाले LLM का नाम बताता है, उन टूल्स की सूची देता है जिन्हें मॉडल इस्तेमाल कर सकता है (जैसे, file-write या git-push), और एक बजट निर्धारित करता है जो मॉडल कॉल्स को सीमित करता है। यहाँ भूमिकाएँ (roles) जोड़ी जाती हैं; एक कोडर एजेंट कोड लिखता है, और एक वेरीफायर एजेंट उसकी जाँच करता है।
- Workload – उपयोगकर्ता द्वारा लिखा गया कार्य का यूनिट। इसमें उच्च-स्तरीय उद्देश्य (जैसे, "module X के लिए यूनिट टेस्ट जोड़ें"), लक्षित रिपॉजिटरी का संदर्भ, और उन एजेंट्स की सूची होती है जिन्हें काम संभालना चाहिए।
- AgenticTask – वह ठोस कार्य जो एक Workload द्वारा शुरू किया जाता है। जैसे-जैसे काम आगे बढ़ता है, प्रत्येक AgenticTask स्टेटस अपडेट रिकॉर्ड करता है, जिससे ऑपरेटर्स रीयल-टाइम में पाइपलाइन की निगरानी कर सकते हैं।
- FleetNode – एक Kubernetes नोड जो वास्तव में कार्यों को चलाता है। इन-बिल्ट शेड्यूलर पेंडिंग AgenticTasks को उन FleetNodes के साथ मिलाता है जिनके पास आवश्यक भूमिका और संसाधन होते हैं।
वेरिफिकेशन (Verification) अंधे विश्वास की जगह लेता है
Foreman यह मानकर नहीं चलता कि मॉडल का आउटपुट सही है। जब एक कोडर एजेंट अपना काम पूरा कर लेता है, तो वह अंतिम परिणाम के बजाय एक अनुरोध (request) भेजता है। एक वेरीफायर—जो आमतौर पर एक डिटरमिनिस्टिक स्क्रिप्ट होती है, न कि कोई दूसरा LLM—कोड को linters, यूनिट टेस्ट या फुल बिल्ड के माध्यम से चलाता है। केवल तभी जब वे जाँचें पास हो जाती हैं, Foreman नई ब्रांच को रिपॉजिटरी में वापस लिखता है।
यदि वेरीफायर विफल हो जाता है, तो कार्य को 'rejected' के रूप में चिह्नित किया जाता है और बदलाव कभी लागू नहीं होते। यह अलगाव मॉडल को रचनात्मक रूप से काम करने की अनुमति देता है जबकि सुरक्षा जाल (safety net) पूरी तरह से मानवीय नियंत्रण में रहता है।
क्लस्टर पर स्टैक इंस्टॉल करना
- Helm के साथ LLMKube कोर चार्ट डिप्लॉय करें।
- Foreman चार्ट को भी Helm के माध्यम से डिप्लॉय करें।
- एजेंट मोड को “native” पर स्विच करें ताकि वास्तविक रिक्वेस्ट-रिस्पॉन्स लूप सक्रिय हो सके।
- उन FleetNodes को भूमिकाएँ (coder, verifier) सौंपें जो काम को होस्ट करेंगे।
दो क्रेडेंशियल सेट की आवश्यकता होती है: इश्यूज़ (issues) पढ़ने और ब्रांच पुश करने के लिए git क्रेडेंशियल, और किसी होस्टेड API या सेल्फ-होस्टेड इन्फरेंस सर्विस को कॉल करने के लिए मॉडल क्रेडेंशियल।
लागत और सुरक्षा के नियंत्रण (knobs) जिन्हें आप वास्तव में बदल सकते हैं
Foreman ऑपरेटर्स को एजेंट परिभाषा से टूल्स को हटाकर मॉडल के अधिकार को सीमित करने की अनुमति देता है। “bash” या “write_file” को हटाने से मॉडल को मनमाने शेल कमांड चलाने या निर्धारित वर्कस्पेस के बाहर लिखने से रोका जा सकता है।
एक टर्न लिमिट (turn limit) प्रति कार्य मॉडल इन्वोकेशन की संख्या को सीमित करती है, जिससे खर्च पर सीधा नियंत्रण रहता है। कॉन्टेक्स्ट विंडो (context window) को एडजस्ट करना—यानी मॉडल प्रॉम्प्ट का कितना हिस्सा देखता है—टोकन के उपयोग को और कम करता है। जब मॉडल ऑन-प्रिमाइसेस (on-prem) हार्डवेयर पर स्थानीय रूप से चलता है, तो कोई भी डेटा संगठन से बाहर नहीं जाता, जिससे सख्त डेटा-प्राइवेसी नीतियों का पालन होता है।
जहाँ यह प्लेटफॉर्म बेहतरीन काम करता है, और जहाँ यह अभी भी संघर्ष करता है
Foreman मैकेनिकल और स्पष्ट रूप से परिभाषित (well-scoped) कार्यों में उत्कृष्ट है:
- दस्तावेजीकृत बग (documented bug) को ठीक करना।
- छूटे हुए टेस्ट केस जोड़ना।
- स्पष्टता या स्टाइल के लिए डॉक्यूमेंटेशन अपडेट करना।
इन कार्यों के लिए सफलता के स्पष्ट मानदंड होते हैं जिन्हें एक वेरीफायर स्वचालित रूप से जाँच सकता है। यह सिस्टम अभी भी उच्च-स्तरीय आर्किटेक्चरल रीडिज़ाइन या अस्पष्ट फीचर वर्क के साथ संघर्ष करता है जहाँ "सटीकता" मानवीय निर्णय पर निर्भर करती है।
निष्कर्ष (Takeaway)
LLM-संचालित कोडर्स को 'फर्स्ट-क्लास' Kubernetes रिसोर्सेज के रूप में मानकर और एक डिटरमिनिस्टिक वेरिफिकेशन स्टेप लागू करके, Foreman प्रोडक्शन AI कोड जनरेशन का एक व्यावहारिक मार्ग प्रदान करता है जो खर्च को दृश्यमान और सुरक्षा को नियंत्रण में रखता है। यह सभी विकास कार्यों के लिए कोई जादुई समाधान (silver bullet) नहीं है, लेकिन दोहराए जाने वाले और परीक्षण योग्य कार्यों के लिए, यह एक ऐसा ऑडिट करने योग्य वर्कफ़्लो प्रदान करता है जो मौजूदा क्लाउड-नेटिव ऑपरेशन्स में स्वाभाविक रूप से फिट बैठता है।