ایک Mac Mini پر لوکل کوڈنگ ایجنٹ چلانا

میں کم خطرے والے کاموں کے لیے ایک لوکل کوڈنگ ایجنٹ استعمال کرتا ہوں۔ یہ فائل ایڈٹس، ٹیسٹ فکسز، اور بلڈ ویریفیکیشن سنبھالتا ہے۔ یہ Playwright ٹیسٹ بھی لکھتا ہے، کوڈ کا جائزہ لیتا ہے، اور ڈیپلائمنٹس چلاتا ہے۔

یہ سیٹ اپ 24 GB RAM والے Mac Mini M4 پر چلتا ہے۔ میں کوڈنگ کے کام کے لیے کلاؤڈ APIs استعمال نہیں کرتا۔ میں صرف پلاننگ اور روٹنگ کے لیے ایک سستا کلاؤڈ ماڈل استعمال کرتا ہوں۔ Pi نامی ایک کوڈنگ ایجنٹ اصل فائل ایڈیٹنگ سنبھالتا ہے۔ یہ oMLX سے منسلک ہوتا ہے، جو کہ ایک لوکل LLM سرور ہے۔

یہ سیٹ اپ کسی بھی ایسے ایجنٹ کے ساتھ کام کرتا ہے جو OpenAI-compatible API استعمال کرتا ہو۔ آپ اسی oMLX سرور کے ساتھ Claude Code یا Codex استعمال کر سکتے ہیں۔

میں دو ماڈلز استعمال کرتا ہوں اور کام کے لحاظ سے انہیں تبدیل (swap) کرتا رہتا ہوں۔ 24 GB RAM کی حد مجھے دونوں کو ایک ساتھ چلانے سے روکتی ہے۔

  • بنیادی کوڈنگ ماڈل: 20 tokens per second پر 9B کلاس۔
  • فاسٹ ماڈل: فوری فکسز کے لیے 27 tokens per second پر 4B کلاس۔

ایک سویپ اسکرپٹ ایک ماڈل کو باہر نکالتا ہے اور دوسرے کو اندر لاتا ہے۔ اس عمل میں 5 سیکنڈ لگتے ہیں۔

ایجنٹ یہ کام انجام دیتا ہے:

  • فائل ایڈٹس اور ریفیکٹورنگ (refactoring)
  • ٹیسٹ لکھنا اور ٹھیک کرنا
  • بلڈ ویریفیکیشن
  • کوڈ ریویوز
  • ڈاکومنٹیشن اپ ڈیٹس
  • ڈیپلائمنٹس چلانا

میں کوڈ کی ایک لائن سے زیادہ پیچیدہ کسی بھی چیز کے لیے RPC موڈ استعمال کرتا ہوں۔ آرکیسٹریشن لیئر (orchestration layer) ایک پرامپٹ لکھتی ہے اور Pi اسے ایگزیکیوٹ کرتا ہے۔

میں کارکردگی بہتر بنانے کے لیے یہ ٹولز استعمال کرتا ہوں:

  • pix-optimizer: ٹوکنز کو کمپریس کرتا ہے اور بوائلر پلیٹ (boilerplate) کو ہٹاتا ہے۔
  • context-mode: ورک سپیس کے کاموں کو روٹ کرتا ہے اور ٹول کالز کو مینیج کرتا ہے۔
  • pi-subagents: کاموں کو متوازی (parallel) طور پر چلاتا ہے۔
  • pi-workflow-engine: کثیر مرحلہ وار کاموں کے تسلسل کو سنبھالتا ہے۔
  • pi-mcp-adapter: MCP کے ذریعے بیرونی ٹولز سے منسلک ہوتا ہے۔

اس سیٹ اپ کے لیے اہم قواعد:

  • میموری کی غلطیوں سے بچنے کے لیے ایک وقت میں صرف ایک ماڈل لوڈ کریں۔
  • رفتار برقرار رکھنے کے لیے تھنکنگ موڈ (thinking mode) کو غیر فعال کریں۔
  • پرامپٹس میں مکمل چیٹ ہسٹری نہ بھیجیں ورنہ ماڈل کریش ہو جائے گا۔
  • سیفٹی کنٹرولز کو نظر انداز کرنے کے لیے غیر معمولی (non-trivial) کاموں کے لیے RPC موڈ استعمال کریں۔
  • اگر ماڈل سویپ کے بعد پہلی درخواست ٹائم آؤٹ ہو جائے تو اسے دوبارہ کوشش کریں۔

سیٹ اپ اسکرپٹ: curl -fsSL https://workswithagents.dev/static/setup-local-llm-pi.sh | sh

ماخذ (Source): https://dev.to/vystartasv/running-a-local-coding-agent-on-a-mac-mini-the-actual-setup-47bo

اختیاری لرننگ کمیونٹی: https://t.me/GyaanSetuAi