میرے AI ایجنٹ کی رکاوٹ ماڈل نہیں تھی۔ بلکہ یہ آرکیٹیکچر تھا۔

تین ماہ قبل، ایک کلائنٹ کا ورک فلو (workflow) ٹوٹ گیا۔

میں نے دستاویزات کی درجہ بندی (classification)، ٹیگنگ اور خلاصوں کے لیے ایک ہی ایجنٹ استعمال کیا تھا۔ یہ روزانہ 50 دستاویزات کے لیے بہتر کام کرتا تھا۔ پھر کام کا حجم 500 تک پہنچ گیا۔

ایجنٹ کو ہر بیچ (batch) کے لیے 40 منٹ لگتے تھے۔ یہ اسکیل (scale) نہیں ہو پا رہا تھا۔ یہ کریش ہو گیا۔

میں نے کسی بڑے ماڈل پر سوئچ نہیں کیا۔ اس کے بجائے، میں نے ایجنٹ کو تین مخصوص کرداروں (specialized roles) میں تقسیم کر دیا۔ یہ کردار متوازی (parallel) طور پر چلتے تھے۔

تھرو پٹ (Throughput) 40 منٹ سے کم ہو کر 4 منٹ رہ گیا۔ ماڈل وہی رہا۔ آرکیٹیکچر بدل گیا۔

زیادہ تر ڈویلپرز سیکوئنشل (sequential) ایجنٹس بنانے کی غلطی کرتے ہیں۔ ایک ہی ایجنٹ ترتیب وار سب کچھ کرتا ہے۔

اگر آپ کے پاس 500 دستاویزات ہیں اور ہر دستاویز کے لیے تین کام ہیں، تو آپ ایک کے بعد ایک 1,500 LLM کالز کرتے ہیں۔ اگر ایک کال میں 2 سیکنڈ بھی لگیں، تب بھی آپ کو 50 منٹ انتظار کرنا پڑے گا۔ آپ کا ماڈل اپنا زیادہ تر وقت انتظار کرنے میں گزار دیتا ہے۔

اس کا حل مخصوص ایجنٹس کا استعمال ہے جو بیک وقت (concurrently) چلتے ہوں۔

  • چھوٹے اور مرکوز سسٹم پرامپٹس (system prompts) استعمال کریں۔
  • آزادانہ کاموں کو ایک ہی وقت میں چلائیں۔
  • کاموں کے انتظام کے لیے ڈسپیچر (dispatcher) استعمال کریں۔

مخصوص ایجنٹس تیز رفتار اور سستے ہوتے ہیں۔ ایک چھوٹا ماڈل جس کا پرامپٹ جامع ہو، وہ مخصوص کاموں پر ایک بڑے جنرل ماڈل کو مات دے دے گا۔

تاہم، ہر چیز کو متوازی (parallelize) نہ کریں۔ ان غلطیوں سے بچیں:

  • ان کاموں کو متوازی نہ کریں جو ایک دوسرے پر منحصر ہوں۔ اگر کام B کو کام A کے آؤٹ پٹ کی ضرورت ہے، تو آپ کو انہیں ترتیب سے چلانا ہوگا۔
  • بہت چھوٹے کاموں کو متوازی نہ کریں۔ ایجنٹ کو سنبھالنے کا اضافی بوجھ (overhead) خود کام سے زیادہ وقت لے سکتا ہے۔
  • ریٹریول (retrieval) کی رفتار کو نظر انداز نہ کریں۔ اگر آپ کا سسٹم ڈیٹا بیس کی تلاش (lookups) کی وجہ سے سست ہے، تو LLM کالز کو متوازی کرنے سے کوئی فائدہ نہیں ہوگا۔

اسکیل کرنے کے لیے ان اقدامات پر عمل کریں:

  • پہلے اپنے سسٹم کا پروفائل (profile) کریں۔ معلوم کریں کہ وقت اصل میں کہاں ضائع ہو رہا ہے۔
  • مخصوص کرداروں کے لیے مخصوص ایجنٹس استعمال کریں۔
  • کوڈ لکھنے سے پہلے اپنے ڈیپینڈینسی گراف (dependency graph) کا نقشہ بنا لیں۔

AI ایجنٹ بنانا دو مختلف مسائل ہیں۔ ایک یہ کہ ایجنٹ کیا کرتا ہے۔ دوسرا یہ کہ ایجنٹ آپ کے سسٹم میں کیسے فٹ بیٹھتا ہے۔

پروڈکشن سسٹم کا زندہ رہنا یا ختم ہو جانا دوسرے مسئلے پر منحصر ہے۔

اگر آپ کسی حد (limit) تک پہنچ جائیں، تو صرف ایک بڑا ماڈل نہ خریدیں۔ پہلے اپنے سسٹم کا نقشہ بنائیں۔ ہو سکتا ہے کہ آپ کو معلوم ہو کہ اصل مسئلہ آرکیٹیکچر ہے۔

ماخذ: https://dev.to/mrclaw207/my-ai-agent-bottleneck-wasnt-the-model-it-was-the-architecture-2h9m

اختیاری لرننگ کمیونٹی: https://t.me/GyaanSetuAi