একটি ম্যাক মিনিতে লোকাল কোডিং এজেন্ট চালানো

আমি কম গুরুত্বপূর্ণ কাজের জন্য একটি লোকাল কোডিং এজেন্ট ব্যবহার করি। এটি ফাইল এডিট করা, টেস্ট ফিক্স করা এবং বিল্ড ভেরিফিকেশন সামলায়। এটি Playwright টেস্ট লেখে, কোড রিভিউ করে এবং ডিপ্লয় (deploy) চালায়।

এই সেটআপটি ২৪ জিবি (24 GB) র‍্যামসহ একটি Mac Mini M4-এ চলে। কোডিং কাজের জন্য আমি কোনো ক্লাউড API ব্যবহার করি না। আমি শুধুমাত্র প্ল্যানিং এবং রাউটিংয়ের জন্য একটি সস্তা ক্লাউড মডেল ব্যবহার করি। Pi নামক একটি কোডিং এজেন্ট আসল ফাইল এডিটিংয়ের কাজ করে। এটি oMLX-এর সাথে যুক্ত থাকে, যা একটি লোকাল LLM সার্ভার।

এই সেটআপটি যেকোনো এজেন্টের সাথে কাজ করে যা OpenAI-compatible API ব্যবহার করে। আপনি এই একই oMLX সার্ভারের সাথে Claude Code বা Codex ব্যবহার করতে পারেন।

আমি দুটি মডেল ব্যবহার করি এবং কাজের ধরন অনুযায়ী সেগুলো পরিবর্তন (swap) করি। ২৪ জিবি র‍্যামের সীমাবদ্ধতার কারণে আমি একসাথে দুটি মডেল চালাতে পারি না।

  • প্রাইমারি কোডিং মডেল: ২০ টোকেন প্রতি সেকেন্ড গতিতে 9B ক্লাস।
  • ফাস্ট মডেল: দ্রুত ফিক্স করার জন্য ২৭ টোকেন প্রতি সেকেন্ড গতিতে 4B ক্লাস।

একটি সোয়াপ স্ক্রিপ্ট একটি মডেল সরিয়ে অন্যটি নিয়ে আসে। এই প্রক্রিয়াটি সম্পন্ন হতে ৫ সেকেন্ড সময় লাগে।

এজেন্ট এই কাজগুলো করে:

  • ফাইল এডিট এবং রিফ্যাক্টরিং (refactoring)
  • টেস্ট লেখা এবং ফিক্স করা
  • বিল্ড ভেরিফিকেশন
  • কোড রিভিউ
  • ডকুমেন্টেশন আপডেট
  • ডিপ্লয় চালানো

কোডের একটি লাইনের চেয়ে জটিল যেকোনো কাজের জন্য আমি RPC mode ব্যবহার করি। অর্কেস্ট্রেশন লেয়ার একটি প্রম্পট লেখে এবং Pi সেটি কার্যকর করে।

পারফরম্যান্স উন্নত করতে আমি এই টুলগুলো ব্যবহার করি:

  • pix-optimizer: টোকেন কম্প্রেস করে এবং অপ্রয়োজনীয় কোড (boilerplate) সরিয়ে ফেলে।
  • context-mode: ওয়ার্কস্পেস টাস্ক রাউট করে এবং টুল কল ম্যানেজ করে।
  • pi-subagents: সমান্তরালভাবে (parallel) টাস্ক চালায়।
  • pi-workflow-engine: মাল্টি-স্টেপ টাস্ক সিকোয়েন্স হ্যান্ডেল করে।
  • pi-mcp-adapter: MCP-এর মাধ্যমে এক্সটার্নাল টুলের সাথে যুক্ত করে।

এই সেটআপের জন্য গুরুত্বপূর্ণ নিয়মাবলী:

  • মেমরি এরর এড়াতে একবারে কেবল একটি মডেল লোড করুন।
  • গতি বজায় রাখতে thinking mode বন্ধ রাখুন।
  • প্রম্পটে পুরো চ্যাট হিস্ট্রি পাঠাবেন না, অন্যথায় মডেল ক্র্যাশ করতে পারে।
  • সেফটি কন্ট্রোল এড়াতে জটিল কাজের জন্য RPC mode ব্যবহার করুন।
  • মডেল সোয়াপ করার পর যদি প্রথম রিকোয়েস্টটি টাইম-আউট হয়, তবে সেটি পুনরায় চেষ্টা করুন।

সেটআপ স্ক্রিপ্ট: curl -fsSL https://workswithagents.dev/static/setup-local-llm-pi.sh | sh

উৎস: https://dev.to/vystartasv/running-a-local-coding-agent-on-a-mac-mini-the-actual-setup-47bo

ঐচ্ছিক লার্নিং কমিউনিটি: https://t.me/GyaanSetuAi