Claude Opus 5 च्या “max effort” सेटिंगमुळे एका सामान्य विनंतीची किंमत $0.76 वरून $19.21 पर्यंत वाढते, तरीही मिळणारे कार्यात्मक आउटपुट (functional output) जवळपास सारखेच असते. हा अतिरिक्त खर्च चांगल्या उपायासाठी नसून केवळ अंतर्गत ऑडिटसाठी (internal audit) वापरला जातो, आणि याचा फायदा केवळ अशा कामांमध्ये दिसून येतो ज्यांची सुरुवातीची टेस्ट कव्हरेज (test coverage) कमी आहे.

चाचणीतून काय दिसून आले

या प्रयोगात Claude Opus 5 च्या डीफॉल्ट एफर्ट लेव्हलची (default effort level) तुलना दोन प्रकारच्या प्रॉम्प्ट्सवर: दैनंदिन कोडिंगची कामे आणि मुद्दाम कठीण बनवलेले प्रश्न, यांच्या “max effort” सेटिंगशी करण्यात आली.

  • एका सामान्य कामासाठी, लो-एफर्ट (low-effort) रन दोन मिनिटांत पूर्ण झाले आणि त्याचा खर्च $0.76 आला. सेटिंग 'max' वर केल्यामुळे बिल $19.21 पर्यंत वाढले, तरीही 'requirement-coverage score'— म्हणजे मॉडेलने दिलेल्या सूचना किती चांगल्या प्रकारे पाळल्या याचे मोजमाप— तंतोतंत सारखेच राहिले.
  • ट्रान्सक्रिप्टवरून असे दिसून येते की मॉडेलने नवीन निर्मिती करण्याऐवजी सुधारणा करण्याकडे (revision) कल दाखवला. मॉडेलने नवीन कोड तयार करणे थांबवले आणि आधी लिहिलेला कोड अधिक चांगला (polish) करण्यावर भर दिला. नवीन कोड लिहिण्यापेक्षा सुधारणा (edits) करण्याचे प्रमाण २.४ पट जास्त होते. “read” टूलचा वापर १८ पटीने वाढला आणि “bash” टूलचा वापर ६ पटीने वाढला. प्रत्यक्षात, मॉडेलने विचारले न जाताही मॉड्यूल्स पुन्हा वाचले, स्वतःच्या टेस्ट्स पुन्हा चालवल्या, लिंटिंग (linting) केले आणि अगदी म्यूटेशन टेस्टिंग (mutation testing) देखील केले.

“max effort” सेटिंग कोणताही नवीन अल्गोरिदम आणत नाही; ते फक्त मॉडेलला खर्च करण्यासाठी उपलब्ध असलेला बजेट वाढवते. एकदा का बजेट पुरेसे मोठे झाले की, मॉडेल 'सेल्फ-ऑडिट मोड' (self-audit mode) मध्ये जाते आणि खर्च करण्यायोग्य एखादी सुधारणा शोधू लागते.

खर्च का वाढतो?

जेव्हा मॉडेल ऑडिट करण्याचा निर्णय घेते, तेव्हा प्रत्येक अतिरिक्त 'read' किंवा 'bash' कॉल बिलात भर पडतो आणि यामुळे एकूण खर्च वेगाने वाढतो.

ऑडिट मोड हा एक जाणीवपूर्वक घेतलेला डिझाइन निर्णय आहे. मॉडेल मोठ्या बजेटचा वापर “काहीतरी सुधारण्यायोग्य शोधण्यासाठी” परवानगी म्हणून करते. जर सुधारण्यासारखे काहीच नसेल, तर त्या अतिरिक्त खर्चाचा कोणताही कार्यात्मक फायदा होत नाही.

जास्त एफर्ट कधी फायदेशीर ठरतात

ऑडिट मोड तेव्हाच प्रभावी ठरतो जेव्हा सुरुवातीचे आउटपुट सुधारणेसाठी वाव देते. ०.७३ टेस्ट कव्हरेज असलेल्या एका Go प्रोजेक्टमध्ये, एफर्ट 'max' वर केल्यामुळे कव्हरेज ०.८८ पर्यंत वाढले.

याउलट, ज्या Python टास्कचे कव्हरेज आधीच ०.९८ होते, तिथे बजेट वाढवूनही कोणताही बदल दिसून आला नाही. मॉडेलने केवळ तोच उच्च-गुणवत्तेचा कोड पुन्हा तपासला, ज्यामुळे मूल्य वाढल्याशिवाय खर्च मात्र वाढला.

संभाव्य तोटे

  • बजेटमधील मोठी वाढ (Budget blowout) – लो-एफर्ट किमतीची सवय असलेल्या वापरकर्त्यांना, त्याच कामासाठी २५ पटीने वाढलेला खर्च पाहून आश्चर्य वाटू शकते.

डेव्हलपर्ससाठी व्यावहारिक मार्गदर्शन

  • दैनंदिन प्रॉम्प्ट्स डीफॉल्ट एफर्ट लेव्हलवरच ठेवा. तुम्हाला खूप कमी खर्चात तेच कार्यात्मक निकाल मिळतील.
  • “max effort” फक्त अशा कोडसाठी वापरा जो गुणवत्तेच्या निकषांवर उतरत नाही— जसे की कमी टेस्ट कव्हरेज, लिंट वॉर्निंग्स (lint warnings) नसणे किंवा इतर मोजण्यायोग्य त्रुटी.
  • या सेटिंगकडे एक वेगळा मोड म्हणून पहा: अधिक चांगल्या उत्तरांसाठीचा पर्याय म्हणून नाही, तर एक ऐच्छिक 'सेल्फ-रिव्ह्यू पास' (self-review pass) म्हणून वापरा.

निष्कर्ष

Claude Opus 5 चा 'max-effort' स्विच चांगल्या कोडसाठी नाही, तर अंतर्गत गुणवत्ता तपासणीसाठी पैसे खर्च करतो. याचा वापर मर्यादित प्रमाणात करा, केवळ तेव्हाच जेव्हा तुमच्या मूळ निकालांमध्ये सुधारणेसाठी स्पष्ट वाव असेल; अन्यथा, स्वस्त डीफॉल्ट सेटिंग ऑडिट-मोडच्या अतिरिक्त खर्चाशिवाय तेच निकाल देते.

Source: https://dev.to/adrianco_54/retort-thinking-level-results-what-opus-actually-does-with-the-extra-time-55f7

Community discussion: https://t.me/GyaanSetuAi