Foreman بڑے پیمانے پر زبان کے ماڈلز (LLM) ایجنٹس کو مقامی Kubernetes ریسورسز میں تبدیل کر دیتا ہے، جس سے ٹیموں کو اخراجات اور حفاظت کو سخت کنٹرول میں رکھتے ہوئے پروڈکشن میں AI سے تیار کردہ کوڈ چلانے کی سہولت ملتی ہے۔
یہ آئیڈیا آج کے ڈویلپمنٹ ورک فلو میں کیسے فٹ بیٹھتا ہے
ادارے ایسے LLMs کے ساتھ تجربات کر رہے ہیں جو کوڈ لکھ سکتے ہیں، لیکن زیادہ تر implementations ماڈل کو ایک قابلِ اعتماد 'بلیک باکس' کے طور پر دیکھتے ہیں۔ ماڈل کی طرف سے ایک واحد "done" سگنل غیر آزمودہ تبدیلیوں کو براہ راست ریپوزٹری میں بھیج سکتا ہے، جس سے سیکیورٹی اور بھروسہ مندی کے خدشات پیدا ہوتے ہیں۔ اسی وقت، کلاؤڈ پر AI سروسز چلانا تیزی سے مہنگا ہو سکتا ہے، خاص طور پر جب CI پائپ لائنز سے بار بار ایک ہی ماڈل کو کال کیا جائے۔
Foreman کا حل پورے کوڈنگ لوپ کو Kubernetes کلسٹر کے اندر شامل کرنا ہے۔ Foreman، Kubernetes ریسورسز کے طور پر چلتا ہے۔
وہ چار بنیادی آبجیکٹس جو اسے ممکن بناتے ہیں
- Agent – ایک ورکر کی تعریف کرتا ہے۔ یہ کال کیے جانے والے LLM کا نام بتاتا ہے، ان ٹولز کی فہرست دیتا ہے جنہیں ماڈل استعمال کر سکتا ہے (مثلاً file-write یا git-push)، اور ایک بجٹ مقرر کرتا ہے جو ماڈل کالز کو محدود کرتا ہے۔ یہاں رولز (roles) منسلک کیے جاتے ہیں؛ ایک coder agent کوڈ لکھتا ہے، جبکہ ایک verifier agent اسے چیک کرتا ہے۔
- Workload – صارف کے ذریعے تیار کردہ کام کا یونٹ ہے۔ یہ اعلیٰ سطح کے مقصد (مثلاً "module X کے لیے unit tests شامل کریں")، ٹارگٹ ریپوزٹری کا حوالہ، اور ان ایجنٹس کی فہرست رکھتا ہے جنہیں یہ کام سنبھالنا چاہیے۔
- AgenticTask – وہ ٹھوس کام جو ایک Workload سے پیدا ہوتا ہے۔ جیسے جیسے کام آگے بڑھتا ہے، ہر AgenticTask اسٹیٹس اپ ڈیٹس ریکارڈ کرتا ہے، جس سے آپریٹرز کو ریئل ٹائم میں پائپ لائن کی نگرانی کرنے میں مدد ملتی ہے۔
- FleetNode – ایک Kubernetes نوڈ جو اصل میں ٹاسک چلاتا ہے۔ بلٹ ان شیڈیولر (scheduler) زیرِ التواء AgenticTasks کو ان FleetNodes کے ساتھ جوڑتا ہے جن کے پاس مطلوبہ رول اور ریسورسز موجود ہوں۔
تصدیق (Verification) اندھی تقلید کی جگہ لیتی ہے
Foreman یہ فرض نہیں کرتا کہ ماڈل کا آؤٹ پٹ درست ہے۔ جب ایک coder agent اپنا کام مکمل کرتا ہے، تو وہ حتمی نتیجے کے بجائے ایک درخواست (request) بھیجتا ہے۔ ایک verifier—جو عام طور پر ایک ڈٹرمینسٹک اسکرپٹ ہوتا ہے، نہ کہ کوئی دوسرا LLM—کوڈ کو linters، unit tests، یا مکمل builds کے ذریعے چلاتا ہے۔ صرف اگر یہ چیک پاس ہو جائیں، تب ہی Foreman نئی برانچ کو ریپوزٹری میں واپس لکھتا ہے۔
اگر verifier ناکام ہو جائے، تو ٹاسک کو مسترد (rejected) قرار دے دیا جاتا ہے اور تبدیلیاں کبھی لاگو نہیں ہوتیں۔ یہ علیحدگی ماڈل کو تخلیقی طور پر کام کرنے کی اجازت دیتی ہے جبکہ حفاظتی جال (safety net) مکمل طور پر انسانی کنٹرول میں رہتا ہے۔
کلسٹر پر اسٹیک انسٹال کرنا
- Helm کے ذریعے LLMKube core chart کو ڈیپلائے کریں۔
- Foreman chart کو بھی Helm کے ذریعے ڈیپلائے کریں۔
- ایجنٹ موڈ کو "native" پر سوئچ کریں تاکہ اصل request-response لوپ فعال ہو جائے۔
- ان FleetNodes کو رولز (coder, verifier) تفویض کریں جو کام کی میزبانی کریں گے۔
دو کریڈنشل سیٹس (credential sets) درکار ہیں: ایشوز (issues) پڑھنے اور برانچز پش کرنے کے لیے git کریڈنشلز، اور ہوسٹڈ API یا خود سے ہوسٹ شدہ انفرنس سروس کو کال کرنے کے لیے ماڈل کریڈنشلز۔
لاگت اور سیکیورٹی کے کنٹرولز جنہیں آپ حقیقت میں استعمال کر سکتے ہیں
Foreman آپریٹرز کو ایجنٹ کی تعریف سے ٹولز کو ہٹا کر ماڈل کے اختیار کو محدود کرنے کی اجازت دیتا ہے۔ "bash" یا "write_file" کو ہٹانے سے ماڈل کو من مانی شیل کمانڈز چلانے یا مقررہ ورک اسپیس سے باہر لکھنے سے روکا جا سکتا ہے۔
ایک ٹرن لیمٹ (turn limit) فی ٹاسک ماڈل کی کالز کی تعداد کو محدود کرتی ہے، جس سے اخراجات پر براہ راست کنٹرول حاصل ہوتا ہے۔ کانٹیکسٹ ونڈو (context window)—یعنی ماڈل کتنا پرامپٹ دیکھ سکتا ہے—کو ایڈجسٹ کرنے سے ٹوکن کے استعمال میں مزید کمی آتی ہے۔ جب ماڈل مقامی طور پر on-prem ہارڈ ویئر پر چلتا ہے، تو کوئی بھی ڈیٹا ادارے سے باہر نہیں جاتا، جس سے سخت ڈیٹا پرائیویسی پالیسیوں کی پاسداری ہوتی ہے۔
جہاں یہ پلیٹ فارم بہترین کارکردگی دکھاتا ہے، اور جہاں اسے اب بھی مشکلات کا سامنا ہے
Foreman میکانکی اور واضح دائرہ کار والے کاموں میں مہارت رکھتا ہے:
- دستاویزی بگ (documented bug) کو ٹھیک کرنا۔
- گمشدہ ٹیسٹ کیسز شامل کرنا۔
- وضاحت یا اسٹائل کے لیے دستاویزات کو اپ ڈیٹ کرنا۔
ان کاموں کے کامیابی کے واضح معیار ہوتے ہیں جنہیں ایک verifier خودکار طور پر چیک کر سکتا ہے۔ یہ سسٹم اب بھی اعلیٰ سطح کے آرکیٹیکچرل ری ڈیزائن یا مبہم فیچر کے کاموں میں جدوجہد کرتا ہے جہاں "درستگی" کا انحصار انسانی فیصلے پر ہوتا ہے۔
خلاصہ
LLM سے چلنے والے کوڈرز کو فرسٹ کلاس Kubernetes ریسورسز کے طور پر استعمال کرنے اور ایک ڈٹرمینسٹک تصدیقی مرحلہ نافذ کرنے کے ذریعے، Foreman پروڈکشن AI کوڈ جنریشن کا ایک عملی راستہ فراہم کرتا ہے جو اخراجات کو نظر آنے کے قابل اور سیکیورٹی کو کنٹرول میں رکھتا ہے۔ یہ تمام ڈویلپمنٹ کاموں کے لیے کوئی جادوئی حل (silver bullet) نہیں ہے، لیکن بار بار کیے جانے والے اور قابلِ آزمائش کاموں کے لیے یہ ایک ایسا قابلِ آڈٹ ورک فلو فراہم کرتا ہے جو موجودہ کلاؤڈ نیٹو آپریشنز میں قدرتی طور پر فٹ بیٹھتا ہے۔