ഒരേ വർക്ക്ലോഡിനായി Claude Opus 5-ന് Opus 4.8-നേക്കാൾ മൂന്നിരട്ടി ചിലവ് വരുന്നു, രണ്ട് മോഡലുകളും ഒരേ ടോക്കൺ വിലയാണ് രേഖപ്പെടുത്തിയിട്ടുള്ളതെങ്കിലും. ഇതിന് കാരണം ഡിഫോൾട്ടായി വരുന്ന "adaptive thinking" എന്ന ഫീച്ചറാണ്; ഇത് ഹിഡൻ റീസണിംഗ് (hidden reasoning) ആയി ഔട്ട്പുട്ട് ടോക്കണുകൾ ഉപയോഗിക്കുന്നു. ഈ ഫീച്ചർ ഓഫ് ചെയ്യുന്നത് വഴി കൃത്യത കുറയാതെ തന്നെ ചിലവ് പഴയതുപോലെയാക്കാം.
വില വ്യത്യാസം ഉണ്ടാകാൻ കാരണം
രണ്ട് വേർഷനുകളും ഒരു മില്യൺ ഇൻപുട്ട് ടോക്കണുകൾക്ക് $5 വീതവും ഒരു മില്യൺ ഔട്ട്പുട്ട് ടോക്കണുകൾക്ക് $25 വീതവും ഈടാക്കുന്നു. ഞങ്ങളുടെ ബെഞ്ച്മാർക്കുകളിൽ, ഒരേ പ്രോംപ്റ്റുകൾ ഉപയോഗിച്ചപ്പോൾ Opus 5-ന്റെ ബിൽ Opus 4.8-നേക്കാൾ 3.1 മടങ്ങ് കൂടുതലായിരുന്നു. ഈ അധിക ചിലവ് ഉയർന്ന ലിസ്റ്റ് പ്രൈസ് മൂലമല്ല; മറിച്ച് Opus 5 അതിന്റെ ആന്തരിക ചിന്താ പ്രക്രിയയെ (internal thought process) കണക്കാക്കുന്ന രീതിയിലാണ് ഇത് ഉൾപ്പെട്ടിരിക്കുന്നത്.
എന്താണ് adaptive thinking ചെയ്യുന്നത്
adaptive thinking പ്രവർത്തനസജ്ജമാക്കുമ്പോൾ, മോഡൽ അന്തിമ ഉത്തരം നൽകുന്നതിന് മുമ്പ് അധികമായ ആന്തരികമായ ചിന്തകൾ (internal reasoning) നടത്തുന്നു. ഈ ചിന്തകൾ ഉപയോക്താവിന് കാണാൻ കഴിയില്ലെങ്കിലും അവ ഔട്ട്പുട്ട് ടോക്കണുകളായി കണക്കാക്കപ്പെടുന്നു. ലളിതമായ ചോദ്യങ്ങളിൽ, ബിൽ ചെയ്യപ്പെടുന്ന ഔട്ട്പുട്ട് ടോക്കണുകളിൽ 42% മുതൽ 95% വരെ ഈ ഹിഡൻ റീസണിംഗ് ആയിരിക്കാം. അതിനാൽ, ഒരു ഒറ്റയക്കത്തിൽ ഉത്തരം നൽകേണ്ട ലളിതമായ ഒരു ഗണിത പ്രശ്നം പോലും ഡസൻ കണക്കിന് കാണപ്പെടാത്ത ടോക്കണുകൾ സൃഷ്ടിക്കുകയും ചിലവ് വൻതോതിൽ വർദ്ധിപ്പിക്കുകയും ചെയ്യുന്നു.
ഈ ഫീച്ചർ ഒരു ബഗ് അല്ല—സങ്കീർണ്ണമായ ജോലികളിൽ ഉത്തരത്തിന്റെ ഗുണനിലവാരം മെച്ചപ്പെടുത്താനാണ് Claude-ന്റെ ഡിസൈനർമാർ ഇത് ഉദ്ദേശിക്കുന്നത്. പ്രായോഗികമായി പറഞ്ഞാൽ, കഠിനമായ പ്രോംപ്റ്റുകളിൽ, പ്രത്യേകിച്ച് മോഡൽ ഒന്നിലധികം ഘട്ടങ്ങളിലൂടെ കടന്നുപോകുമ്പോഴോ അല്ലെങ്കിൽ എക്സ്റ്റേണൽ ടൂളുകളുമായി ഇടപെടുമ്പോഴോ, ഈ ഹിഡൻ റീസണിംഗ് കൃത്യതയിൽ ചെറിയ വർദ്ധനവ് നൽകുന്നുണ്ട്.
ചിലവ് എങ്ങനെ നിയന്ത്രിക്കാം
adaptive thinking ഓഫ് ചെയ്യാൻ മോഡലിൽ ഒരു പാരാമീറ്റർ ഉപയോഗിക്കാം:
{
"thinking": {"type": "disabled"}
}
Opus 5-ൽ ഈ സെറ്റിംഗ് പ്രയോഗിക്കുന്നത് വഴി, ഞങ്ങൾ പരിശോധിച്ച ലളിതമായ ജോലികളിൽ ഫലങ്ങളുടെ കൃത്യതയിൽ മാറ്റം വരാതെ തന്നെ, Opus 4.8 ഈടാക്കുന്ന അതേ തുകയിലേക്ക് ഓരോ ടാസ്കിന്റെയും ചിലവ് കുറയ്ക്കാൻ സാധിക്കും.
എപ്പോൾ ഓഫ് ചെയ്യണം
- ടെക്സ്റ്റിൽ നിന്ന് ഡാറ്റ വേർതിരിച്ചെടുക്കൽ (Extraction)
- ഫോർമാറ്റിംഗ് ജോലികൾ (ഉദാഹരണത്തിന്, JSON കൺവേർഷൻ)
- ഉത്തരം നേരിട്ട് കണ്ടെത്താനോ ലളിതമായ കണക്കുകൂട്ടലുകൾക്കോ മാത്രം ആവശ്യമുള്ള സിംഗിൾ-സ്റ്റെപ്പ് കോളുകൾ
ഇത്തരം സാഹചര്യങ്ങളിൽ thinking ഓഫ് ചെയ്യുന്നത് വഴി ഹിഡൻ ടോക്കൺ ടാക്സ് ഒഴിവാക്കാനും ബില്ലുകൾ മുൻകൂട്ടി പ്രവചിക്കാനും സാധിക്കും.
എപ്പോൾ ഓൺ ആയി വെക്കണം
- ആഴത്തിലുള്ള ലോജിക്കൽ ചെയിനുകളോ സൂക്ഷ്മമായ റീസണിംഗോ ആവശ്യമായ ജോലികൾ
- എക്സ്റ്റേണൽ ടൂളുകൾ ആവർത്തിച്ച് ഉപയോഗിക്കുന്ന ഏജന്റ് വർക്ക്ഫ്ലോകൾ
ടൂളുകൾ കൂടുതലായി ഉപയോഗിക്കുന്ന സാഹചര്യങ്ങളിൽ, ടൂൾ കോളുകൾക്കിടയിൽ ആന്തരികമായ റീസണിംഗിനായി മോഡൽ കുറഞ്ഞ സമയം ചെലവഴിക്കുന്നതിനാൽ വില വ്യത്യാസം ഏകദേശം 33% ആയി കുറയുന്നു.
മറ്റ് ശ്രദ്ധേയമായ വ്യത്യാസങ്ങൾ
- Context window: Opus 5-ന് ഒരു മില്യൺ ടോക്കണുകൾ വരെ ഉൾക്കൊള്ളാൻ കഴിയും. ടോക്കൺ 969,950-ൽ വെച്ചിരുന്ന ഒരു സ്ട്രിംഗ് വീണ്ടെടുത്തതിലൂടെ ഞങ്ങൾ ഇത് പരിശോധിച്ചു.
- Cache floor: മിനിമം കാഷെ സൈസ് 512 ടോക്കണുകളായി കുറഞ്ഞു, ഇത് Opus 4.8-ന്റെ പകുതിയാണ്. ഇത് റീ-ടോക്കണൈസിംഗ് ഇല്ലാതെ എത്രത്തോളം മുൻപത്തെ സംഭാഷണങ്ങൾ മോഡലിന് വീണ്ടും ഉപയോഗിക്കാൻ കഴിയും എന്നതിനെ ബാധിക്കുന്നു.
ഇനി ശ്രദ്ധിക്കേണ്ട കാര്യങ്ങൾ
adaptive thinking സജീവമാണെന്ന് സൂചിപ്പിക്കുന്ന "reasoning tokens" അല്ലെങ്കിൽ സമാനമായ വിവരങ്ങൾ ഉപയോഗ റിപ്പോർട്ടുകളിൽ ഡെവലപ്പർമാർ ശ്രദ്ധിക്കണം. കൂടുതൽ ആപ്ലിക്കേഷനുകൾ ഏജന്റ് രീതിയിലുള്ള പ്രവർത്തനങ്ങൾക്കായി Claude ഉപയോഗിക്കുമ്പോൾ, ചിലവും ഗുണനിലവാരവും തമ്മിലുള്ള സന്തുലിതാവസ്ഥ ഒരു പ്രധാന തീരുമാനമായി മാറും. ഭാവിയിലെ അപ്ഡേറ്റുകളിൽ, റീസണിംഗിന്റെ ആഴം ക്രമീകരിക്കാൻ (tune) ഉപയോക്താക്കൾക്ക് സാധിച്ചേക്കാം, ഇത് ചിലവ് നിയന്ത്രിക്കാൻ സഹായിക്കും.
ചുരുക്കത്തിൽ: ലളിതമായ ജോലികളിൽ Opus 5-ന്റെ ഡിഫോൾട്ട് adaptive thinking ടോക്കൺ ഉപയോഗം വർദ്ധിപ്പിക്കുന്നു. Opus 4.8-ന്റെ ചിലവിലേക്ക് എത്താൻ മുകളിൽ പറഞ്ഞ സെറ്റിംഗ് ഉപയോഗിച്ച് ഇത് ഓഫ് ചെയ്യുക; അധികമായ റീസണിംഗ് ആവശ്യമാണെന്ന് തോന്നുന്ന സാഹചര്യങ്ങളിൽ മാത്രം ഇത് ഓൺ ചെയ്യുക.