Claude Opus 5 નું “max effort” સેટિંગ એક સામાન્ય વિનંતીની કિંમત $0.76 થી વધારીને $19.21 કરી દે છે, જ્યારે તે લગભગ સમાન કાર્યકારી આઉટપુટ જ આપે છે. આ વધારાનો ખર્ચ કોઈ વધુ સારું સોલ્યુશન નહીં, પરંતુ એક આંતરિક ઓડિટ પાસ ખરીદે છે, અને તે માત્ર એવા કાર્યોમાં જ માપી શકાય તેવા ફાયદા બતાવે છે જે ઓછી ટેસ્ટ કવરેજથી શરૂ થાય છે.

પરીક્ષણ દ્વારા શું જાણવા મળ્યું

આ પ્રયોગમાં Claude Opus 5 ના ડિફોલ્ટ એફર્ટ લેવલની તુલના બે પ્રકારના પ્રોમ્પ્ટ્સ પર “max effort” સેટિંગ સાથે કરવામાં આવી હતી: રોજિંદા કોડિંગના કાર્યો અને જાણીજોઈને મુશ્કેલ બનાવવામાં આવેલા પ્રશ્નો.

  • એક સામાન્ય કાર્ય માટે, ઓછા એફર્ટવાળું રન બે મિનિટમાં પૂર્ણ થયું અને તેનો ખર્ચ $0.76 થયો. સેટિંગને મેક્સ સુધી વધારવાથી બિલ $19.21 થઈ ગયું, છતાં રિક્વાયરમેન્ટ-કવરેજ સ્કોર— જે મોડેલ દ્વારા તે બ્રીફને કેટલી સારી રીતે પૂર્ણ કર્યું છે તે દર્શાવતું મેટ્રિક છે— તે સમાન જ રહ્યો.
  • ટ્રાન્સક્રિપ્ટ નિર્માણ (creation) થી સુધારા (revision) તરફનું પરિવર્તન દર્શાવે છે. મોડેલે નવો કોડ બનાવવાનું બંધ કરી દીધું અને જે લખ્યું હતું તેને જ પોલિશ કરવાનું શરૂ કર્યું. એડિટ્સની સંખ્યા નવા લખાણ કરતા 2.4 ગણી વધારે હતી. “read” ટૂલના કોલ્સમાં અઢાર ગણો વધારો થયો અને “bash” ટૂલના ઉપયોગમાં છ ગણો વધારો થયો. વ્યવહારમાં, મોડેલે પૂછ્યા વગર જ મોડ્યુલ્સ ફરીથી વાંચ્યા, તેના પોતાના ટેસ્ટ ફરીથી ચલાવ્યા, લિન્ટિંગ અને મ્યુટેશન ટેસ્ટિંગ પણ કર્યું.

“max effort” સેટિંગ કોઈ નવો અલ્ગોરિધમ રજૂ કરતું નથી; તે ફક્ત મોડેલ ખર્ચ કરી શકે તેવું બજેટ વધારે છે. એકવાર બજેટ પૂરતું મોટું થઈ જાય પછી, મોડેલ સેલ્ફ-ઓડિટ મોડમાં સ્વિચ થઈ જાય છે, અને એવા કોઈપણ સુધારાની શોધ કરે છે જેના માટે ખર્ચ કરવાનું તે યોગ્ય ઠેરવી શકે.

ખર્ચ કેમ વધે છે

જ્યારે મોડેલ ઓડિટ કરવાનું નક્કી કરે છે, ત્યારે દરેક વધારાનું read અથવા bash કોલ બિલમાં ઉમેરાય છે, અને મલ્ટિપ્લાયર અસરોને કારણે કુલ ખર્ચ ઝડપથી વધી જાય છે.

ઓડિટ મોડ એ એક સ્પષ્ટ ડિઝાઇન પસંદગી છે. મોડેલ મોટા બજેટને “કંઈક સુધારવા જેવું શોધવા” માટેની પરવાનગી તરીકે ગણે છે. જો સુધારી શકાય તેવું કંઈ જ ન જણાય, તો વધારાનો ખર્ચ કોઈ કાર્યકારી લાભ આપતો નથી.

ક્યારે વધુ એફર્ટ (higher effort) યોગ્ય છે

ઓડિટ મોડ ત્યારે જ શ્રેષ્ઠ પરિણામ આપે છે જ્યારે પ્રારંભિક આઉટપુટમાં સુધારા માટે અવકાશ હોય. 0.73 ટેસ્ટ કવરેજ ધરાવતા Go પ્રોજેક્ટમાં, એફર્ટને મેક્સ સુધી વધારવાથી કવરેજ વધીને 0.88 થઈ ગયું.

તેનાથી વિપરીત, 0.98 કવરેજ મેળવી ચૂકેલા Python કાર્યમાં બજેટ વધારવા છતાં કોઈ ફેરફાર જોવા મળ્યો નથી. મોડેલે ફક્ત તે જ ઉચ્ચ ગુણવત્તાવાળા કોડને ફરીથી ચેક કર્યો, જેનાથી કોઈ મૂલ્ય ઉમેરાયા વગર ખર્ચ વધી ગયો.

સંભવિત ગેરફાયદા

  • બજેટમાં મોટો વધારો – ઓછા એફર્ટના ભાવથી ટેવાયેલા વપરાશકર્તાઓ સમાન પરિણામ માટે પચીસ ગણા વધારાથી આશ્ચર્યચકિત થઈ શકે છે.

ડેવલપર્સ માટે વ્યવહારુ માર્ગદર્શન

  • રોજિંદા પ્રોમ્પ્ટ્સને ડિફોલ્ટ એફર્ટ લેવલ પર રાખો. તમને ખૂબ જ ઓછા ખર્ચે સમાન કાર્યકારી પરિણામ મળશે.
  • “max effort” નો ઉપયોગ એવા કોડ માટે અનામત રાખો જે ગુણવત્તાના સ્પષ્ટ માપદંડને પૂર્ણ કરવામાં નિષ્ફળ જાય છે— જેમ કે ઓછી ટેસ્ટ કવરેજ, લિન્ટ વોર્નિંગ્સનો અભાવ અથવા અન્ય માપી શકાય તેવી ખામીઓ.
  • આ સેટિંગને એક અલગ મોડ તરીકે ગણો: વધુ સારા જવાબો માટેના સ્પીડ ડાયલને બદલે એક વૈકલ્પિક સેલ્ફ-રિવ્યુ પાસ તરીકે.

મુખ્ય સારાંશ

Claude Opus 5 નું max-effort સ્વિચ વધુ સારા કોડ માટે નહીં, પરંતુ આંતરિક ગુણવત્તા તપાસ માટે પૈસાનો ઉપયોગ કરે છે. તેનો ઉપયોગ મર્યાદિત રીતે કરો, ફક્ત ત્યારે જ જ્યારે તમારા મૂળભૂત પરિણામોમાં કોઈ ચોક્કસ ખામી રહી ગઈ હોય; અન્યથા, સસ્તું ડિફોલ્ટ સેટિંગ ઓડિટ-મોડના વધારાના ખર્ચ વગર સમાન પરિણામ આપે છે.

Source: https://dev.to/adrianco_54/retort-thinking-level-results-what-opus-actually-does-with-the-extra-time-55f7

Community discussion: https://t.me/GyaanSetuAi