Claude Opus 5 کی "max effort" سیٹنگ ایک معمول کی درخواست کی قیمت کو $0.76 سے بڑھا کر $19.21 کر دیتی ہے، جبکہ فنکشنل آؤٹ پٹ تقریباً وہی رہتا ہے۔ یہ اضافی خرچ ایک اندرونی آڈٹ پاس خریدتا ہے، نہ کہ کوئی بہتر حل، اور یہ صرف ان کاموں پر قابلِ پیمائش بہتری دکھاتا ہے جو کم ٹیسٹ کوریج سے شروع ہوتے ہیں۔

ٹیسٹ نے کیا دکھایا

اس تجربے میں Claude Opus 5 کے ڈیفالٹ effort level کا موازنہ دو قسم کے پرامپٹس پر "max effort" سیٹنگ کے ساتھ کیا گیا: روزمرہ کے کوڈنگ کے کام اور جان بوجھ کر مشکل بنائے گئے مسائل۔

  • ایک عام کام کے لیے، کم کوشش (low-effort) والے مرحلے نے دو منٹ میں کام مکمل کیا اور اس کی لاگت $0.76 آئی۔ سیٹنگ کو "max" پر کرنے سے بل بڑھ کر $19.21 ہو گیا، تاہم requirement-coverage score—وہ پیمانہ جو ماڈل خود بتاتا ہے کہ اس نے ہدایات پر کتنی اچھی طرح عمل کیا—بالکل وہی رہا۔
  • ٹرانسکرپٹ تخلیق (creation) سے نظرثانی (revision) کی طرف منتقلی کو ظاہر کرتا ہے۔ ماڈل نے نیا کوڈ تیار کرنا بند کر دیا اور جو پہلے سے لکھا ہوا تھا اسے ہی نکھارنا شروع کر دیا۔ ایڈٹس (ترمیمات) کی تعداد نئی تحریروں کے مقابلے میں 2.4 گنا زیادہ تھی۔ "read" ٹول کے استعمال میں اٹھارہ گنا اضافہ ہوا، اور "bash" ٹول کے استعمال میں چھ گنا اضافہ ہوا۔ عملی طور پر ماڈل نے ماڈیولز کو دوبارہ پڑھا، اپنے ٹیسٹ خود دوبارہ چلائے، لنٹنگ (linting) کی اور یہاں تک کہ کہ پوچھے بغیر میوٹیشن ٹیسٹنگ (mutation testing) بھی کی۔

"max effort" سیٹنگ کوئی نیا الگورتھم متعارف نہیں کرواتی؛ یہ صرف اس بجٹ میں اضافہ کرتی ہے جو ماڈل خرچ کر سکتا ہے۔ ایک بار جب بجٹ کافی بڑا ہو جاتا ہے، تو ماڈل خودکار آڈٹ موڈ (self-audit mode) پر منتقل ہو جاتا ہے، اور ایسی کسی بھی تبدیلی کی تلاش میں رہتا ہے جس پر مزید خرچ کرنے کا جواز پیش کیا جا سکے۔

قیمت میں اچانک اضافہ کیوں ہوتا ہے

جب ماڈل آڈٹ کرنے کا فیصلہ کرتا ہے، تو ہر اضافی "read" یا "bash" کال بل میں اضافہ کرتی ہے، اور کثیر اثرات (multiplier effects) تیزی سے کل لاگت کو بڑھا دیتے ہیں۔

آڈٹ موڈ ایک واضح ڈیزائن کا انتخاب ہے۔ ماڈل بڑے بجٹ کو "کچھ ایسا تلاش کرنے کی اجازت" کے طور پر لیتا ہے جو ٹھیک کرنے کے قابل ہو۔ اگر کچھ بھی بہتر کرنے کے قابل نظر نہ آئے، تو اضافی خرچ کا کوئی فنکشنل فائدہ نہیں ہوتا۔

زیادہ کوشش کب فائدہ مند ہے

آڈٹ موڈ صرف اس وقت بہترین کام کرتا ہے جب ابتدائی آؤٹ پٹ میں بہتری کی گنجائش موجود ہو۔ ایک Go پروجیکٹ میں جس کی ٹیسٹ کوریج 0.73 تھی، effort کو max پر کرنے سے کوریج بڑھ کر 0.88 ہو گئی۔

اس کے برعکس، ایک Python ٹاسک جس نے پہلے ہی 0.98 کوریج حاصل کر لی تھی، بجٹ بڑھانے پر اس میں کوئی تبدیلی نہیں دیکھی گئی۔ ماڈل نے صرف اسی اعلیٰ معیار کے کوڈ کو دوبارہ چیک کیا، جس سے بغیر کسی اضافی قدر کے قیمت بڑھ گئی۔

ممکنہ نقصانات

  • بجٹ کا حد سے تجاوز کرنا – وہ صارفین جو کم قیمت والے effort level کے عادی ہیں، وہ اسی کام کے لیے پچیس گنا زیادہ قیمت دیکھ کر حیران ہو سکتے ہیں۔

ڈویلپرز کے لیے عملی رہنمائی

  • معمول کے پرامپٹس کو ڈیفالٹ effort level پر رکھیں۔ آپ کو بہت کم قیمت پر وہی فنکشنل نتیجہ ملتا ہے۔
  • "max effort" کو صرف اس کوڈ کے لیے مخصوص کریں جو معیار کی واضح حد کو پورا کرنے میں ناکام ہو—جیسے کم ٹیسٹ کوریج، مسنگ لنٹ وارننگز (lint warnings)، یا دیگر قابلِ پیمائش خامیاں۔
  • اس سیٹنگ کو ایک الگ موڈ کے طور پر لیں: بہتر جوابات کے لیے سپیڈ ڈائل کے بجائے ایک اختیاری خودکار نظرثانی (self-review pass) کے طور پر۔

خلاصہ

Claude Opus 5 کا max-effort سوئچ پیسے کے بدلے اندرونی کوالٹی چیک فراہم کرتا ہے، نہ کہ بہتر کوڈ۔ اسے احتیاط سے استعمال کریں، صرف اس وقت جب آپ کے بنیادی نتائج میں کوئی ایسی کمی ہو جسے پورا کرنا ضروری ہو؛ ورنہ سستا ڈیفالٹ موڈ آڈٹ موڈ کی اضافی قیمت کے بغیر وہی نتیجہ فراہم کرتا ہے۔

Source: https://dev.to/adrianco_54/retort-thinking-level-results-what-opus-actually-does-with-the-extra-time-55f7

Community discussion: https://t.me/GyaanSetuAi