اپنے ماڈل کو فائن ٹیون کرنا بند کریں۔ اصل مسئلہ آپ کا آرکیٹیکچر ہے۔

ڈیموز (Demos) بہت اچھے لگتے ہیں۔ پروڈکشن سسٹم مختلف ہوتے ہیں۔ ان دونوں کے درمیان ایک فرق ہے۔

آج کل لوگ ہر چیز کو ایجنٹ (agent) کہہ رہے ہیں۔ میموری والا چیٹ بوٹ ایک ایجنٹ ہے۔ لوپ والا اسکرپٹ ایک ایجنٹ ہے۔ یہ غلطی انجینئرنگ کی غلطیوں کا باعث بنتی ہے۔ آپ سادہ کاموں کے لیے ضرورت سے زیادہ انجینئرنگ (over-engineering) اور پیچیدہ کاموں کے لیے کم انجینئرنگ (under-engineering) کر بیٹھتے ہیں۔

ایک ایجنٹ کو ایک مقصد (objective) کی ضرورت ہوتی ہے۔ یہ صرف ایک ہدایت پر عمل نہیں کرتا۔ یہ فیصلہ کرتا ہے کہ آگے کیا کرنا ہے۔ یہ ناکامی کو سنبھالتا ہے۔ اسے معلوم ہوتا ہے کہ کب رکنا ہے۔

اپنے سسٹم کو چیک کرنے کے لیے ان اصولوں کا استعمال کریں:

  • اگر انسان کو ہر قدم پر رہنمائی کرنی پڑے، تو یہ ایک چیٹ انٹرفیس ہے۔
  • اگر یہ کسی ناکام ٹول کال (tool call) سے خود کو سنبھال لے، تو یہ ایک ایجنٹ ہے۔
  • اگر یہ ایک مقصد کو ذیلی کاموں (subtasks) میں تقسیم کرے، تو یہ ایک حقیقی ایجنٹ ہے۔

کامیاب ٹیمیں نئے ماڈلز کے پیچھے نہیں بھاگتی ہیں۔ وہ مخصوص اور مقصد کے لیے بنائے گئے پائپ لائنز (pipelines) بناتی ہیں۔ وہ ان تین چیزوں پر توجہ دیتی ہیں:

  • ٹول ڈیزائن: انٹرفیس کتنا صاف ستھرا ہے؟
  • ناکامی کو سنبھالنا (Failure handling): جب کوئی ٹول کچھ واپس نہ کرے تو کیا ہوتا ہے؟
  • مشاہدہ (Observability): کیا آپ ہر فیصلے کا سراغ لگا سکتے ہیں؟

آپ جو فریم ورک استعمال کرتے ہیں اس سے زیادہ اہمیت آپ کے پیٹرنز (patterns) کی ہے۔ میں نے مختلف فریم ورکس میں آرکیٹیکچرز کو دوبارہ بنایا ہے اور نتائج وہی رہتے ہیں۔ فریم ورک محض ایک ڈھانچہ (scaffolding) ہے، جبکہ آرکیٹیکچر اصل عمارت ہے۔

ان پیٹرنز پر عمل کریں:

  • پہلے منصوبہ بندی کریں پھر عمل کریں۔ استدلال (reasoning) کے لیے ایک مرحلہ اور عمل (action) کے لیے ایک الگ مرحلہ استعمال کریں۔
  • ریٹریول (retrieval) کو استدلال سے الگ رکھیں۔ سیاق و سباق (context) حاصل کرنا اور سیاق و سباق کا استعمال کرنا الگ الگ کام ہیں۔
  • واضح ہینڈ آف (handoffs) کا استعمال کریں۔ جب ایک ایجنٹ کام دوسرے کو سونپے، تو اس کے لیے اسٹرکچرڈ لاگز (structured logs) استعمال کریں۔

RAG ایک معیار ہے، لیکن چنکنگ (chunking) اکثر غلط ہوتی ہے۔ اگر آپ دستاویزات کو غلط طریقے سے تقسیم کرتے ہیں، تو ماڈل سیاق و سباق (context) کھو دیتا ہے۔ اس سے ہالوسینیشن (hallucinations) پیدا ہوتی ہیں۔

اگر آپ کا RAG پائپ لائن غیر مفید نتائج دیتا ہے، تو اپنی چنکنگ اور میٹا ڈیٹا (metadata) کو دیکھیں۔ ایمبیڈنگ ماڈل (embedding model) کو قصوروار نہ ٹھہرائیں۔

انجینئرنگ کا چیلنج ایسے سسٹم بنانا ہے جن پر آپ بھروسہ کر سکیں۔ گورننس (governance)، مشاہدہ (observability) اور قابل اعتماد ٹول کے استعمال پر توجہ دیں۔ صرف بینچ مارکس (benchmarks) کے پیچھے نہ بھاگیں۔

بہترین انجینئرز سسٹم ڈیزائن پر توجہ دیں گے۔ وہ ایسے AI سسٹم بنائیں گے جن کی دیکھ بھال دوسرے کر سکیں اور جن پر بھروسہ کیا جا سکے۔

ماخذ: https://dev.to/aibughunter/stop-fine-tuning-your-model-your-architecture-is-the-problem-3kkg