Vercel-ന്റെ ജൂൺ മാസത്തെ ടോക്കൺ വിഹിത റിപ്പോർട്ട് പ്രകാരം, ഗേറ്റ്‌വേ ടോക്കണുകളിൽ 29% ഓപ്പൺ-വെയിറ്റ് മോഡലുകൾ കൈകാര്യം ചെയ്യുന്നു. ഏപ്രിലിലെ 11%-ൽ നിന്നാണ് ഇത് വർദ്ധിച്ചത്. ഇതിൽ DeepSeek മാത്രം 22.6% വിഹിതം വഹിക്കുന്നു. ഈ കുതിച്ചുചാട്ടം ഒരു വേഗത്തിലുള്ള മാറ്റത്തെ സൂചിപ്പിക്കുന്നു: ഡെവലപ്പർമാർ ഒരു മികച്ച മോഡലിനെ മാത്രം ആശ്രയിക്കുന്ന രീതിയിൽ നിന്ന് മാറി, AI മോഡലുകളെ റൂട്ടബിൾ ഇൻഫ്രാസ്ട്രക്ചർ (routable infrastructure) ആയി കാണാൻ തുടങ്ങിയിരിക്കുന്നു.

ഡെവലപ്പർമാർ എന്തിനാണ് മോഡലുകളെ ഇൻഫ്രാസ്ട്രക്ചർ ആയി പരിഗണിക്കുന്നത്

കുറഞ്ഞ ചിലവിലുള്ള ഓപ്പൺ-വെയിറ്റ് മോഡലുകൾ—ഇവയിൽ പലതും ചൈനീസ് സേവനദാതാക്കളിൽ നിന്നുള്ളതാണ്—Anthropic പോലുള്ള പ്രീമിയം സേവനങ്ങളെ അപേക്ഷിച്ച് വളരെ കുറഞ്ഞ ചിലവിൽ ലഭ്യമാണ്. കോഡ് എക്സ്ട്രാക്ഷൻ (code extraction), ടെക്സ്റ്റ് ക്ലീനിംഗ് (text cleaning), അല്ലെങ്കിൽ ലളിതമായ ഡാറ്റാ ലുക്കപ്പുകൾ (data look-ups) പോലുള്ള പതിവ് ജോലികൾക്കായി, കുറച്ച് ശതമാനം കൃത്യത കുറവാണെങ്കിൽ പോലും, ഡോളറുകൾക്ക് പകരം സെന്റുകൾ മാത്രം ചിലവാകുന്ന ഒരു മോഡൽ കൂടുതൽ ആകർഷകമായേക്കാം.

ഇതിന്റെ ഫലമായി ഒരു പുതിയ ഡിസൈൻ പാറ്റേൺ രൂപപ്പെടുന്നു. ഒരു ആപ്ലിക്കേഷൻ ആദ്യം ജോലിയുടെ "സാധാരണമായ" (boring) ഭാഗങ്ങൾക്കായി കുറഞ്ഞ ചിലവുള്ള ഒരു മോഡലിലേക്ക് റിക്വസ്റ്റ് അയക്കുന്നു. ഔട്ട്പുട്ട് ഒരു ലളിതമായ ക്വാളിറ്റി ചെക്ക് പാസായാൽ, പൈപ്പ്‌ലൈൻ തുടരുന്നു; ഇല്ലെങ്കിൽ, രണ്ടാമതൊരു പരിശോധനയ്ക്കോ അന്തിമ തീരുമാനത്തിനോ വേണ്ടി ഉയർന്ന വിലയുള്ള ഒരു മോഡലിനെ ഉപയോഗിക്കുന്നു. ഇവിടെ ഒരു മോഡൽ തിരഞ്ഞെടുക്കുന്നതിനേക്കാൾ നിർണ്ണായകമായത് റൂട്ടിംഗ് ലോജിക് (routing logic) ആണ്.

കണക്കുകൾ എന്താണ് പറയുന്നത്

ഒന്നിലധികം AI സേവനദാതാക്കളെ ഉൾക്കൊള്ളുന്ന Vercel-ന്റെ ഗേറ്റ്‌വേയിൽ നിന്നുള്ള വിവരങ്ങൾ പ്രകാരം, ഓപ്പൺ-വെയിറ്റ് മോഡലുകൾ പാർശ്വവൽക്കരിക്കപ്പെട്ട അവസ്ഥയിൽ നിന്ന് മുഖ്യധാരയിലേക്ക് മാറിക്കൊണ്ടിരിക്കുകയാണ്. ഏപ്രിലിൽ മൊത്തം ടോക്കണുകളുടെ പത്തിലൊന്ന് മാത്രമായിരുന്ന ഇവ, ജൂണായപ്പോഴേക്കും മൂന്നിലൊന്നിനോട് അടുത്തെത്തി. ചൈനീസ് മോഡലായ DeepSeek മാത്രം ടോക്കൺ വോളിയത്തിന്റെ അഞ്ചിലൊന്ന് ഭാഗത്തോളം നൽകുന്നു.

ഉയർന്ന നിലവാരമുള്ള (High-end) മോഡലുകൾ ഇപ്പോഴും ചെലവിൽ മുന്നിലാണ്. ഉദാഹരണത്തിന്, Anthropic-ന്റെ ടോക്കൺ നിരക്ക് കൂടുതലായതിനാൽ പണത്തിന്റെ വലിയൊരു ഭാഗം ഈ മോഡലുകൾക്കായി ചെലവാകുന്നു. ഇതിലെ കണക്ക് ലളിതമാണ്: കുറഞ്ഞ ലാഭമുള്ളതും എന്നാൽ വലിയ അളവിൽ ചെയ്യേണ്ടതുമായ ജോലികൾക്ക് കുറഞ്ഞ ചിലവുള്ള മോഡലുകൾ ഉപയോഗിക്കുന്നു, അതേസമയം ഉയർന്ന ലാഭവും വലിയ സ്വാധീനവുമുള്ള ജോലികൾക്കായി വിലകൂടിയ മോഡലുകൾ നിലനിർത്തുന്നു.

AI ഏജന്റുകൾക്കുള്ള പ്രത്യാഘാതങ്ങൾ

ഒരു AI ഏജന്റ് സാധാരണയായി പ്ലാനിംഗ് (planning), ഡാറ്റാ റിട്രീവൽ (data retrieval), ടൂൾ ഇൻവോക്കേഷൻ (tool invocation), റിസൾട്ട് റിഫൈൻമെന്റ് (result refinement) എന്നിങ്ങനെ ഒരു കൂട്ടം ഘട്ടങ്ങളിലൂടെയാണ് കടന്നുപോകുന്നത്. ഓരോ ഘട്ടവും ഏറ്റവും ലാഭകരമായ മോഡലിലേക്ക് മാറ്റാൻ കഴിയുമ്പോൾ, മൊത്തത്തിലുള്ള പ്രവർത്തനച്ചെലവ് ഗണ്യമായി കുറയുന്നു.

  • ഡാറ്റാ റിട്രീവലും (Data retrieval) എക്സ്ട്രാക്ഷനും (extraction) പലപ്പോഴും അടിസ്ഥാനപരമായ ഭാഷാപരമായ അറിവ് മാത്രം മതിയാകുന്ന കാര്യങ്ങളാണ്, ഇതിൽ കുറഞ്ഞ ചിലവുള്ള മോഡലുകൾ മികച്ച പ്രകടനം കാഴ്ചവെക്കുന്നു.
  • അന്തിമ തീരുമാനം (Final judgment)—അതായത് ഉത്തരം സ്വീകാര്യമാണോ എന്ന് തീരുമാനിക്കുന്ന ഭാഗം—കൂടുതൽ വിശ്വാസ്യതയുള്ള പ്രീമിയം മോഡലുകളുടെ മേഖലയായി തുടരുന്നു.

ഈ ലെയർഡ് സമീപനം (layered approach) ബജറ്റ് തകരാതെ തന്നെ വലിയ ജോലികൾ ഓട്ടോമേറ്റ് ചെയ്യാൻ ഡെവലപ്പർമാരെ സഹായിക്കുന്നു. കൂടാതെ, "ഏറ്റവും മികച്ച മോഡൽ തിരഞ്ഞെടുക്കുക" എന്നതിൽ നിന്ന് "ഓരോ ഘട്ടത്തിലും വിജയം അളക്കുകയും അതിനനുസരിച്ച് റൂട്ട് ചെയ്യുകയും ചെയ്യുക" എന്ന രീതിയിലേക്കുള്ള മാറ്റത്തിനും ഇത് കാരണമാകുന്നു.

റിസ്കുകളും പരിമിതികളും

സാമ്പത്തികമായ ലാഭം ആകർഷകമാണെങ്കിലും, ഈ മാറ്റം തടസ്സങ്ങളില്ലാത്തതല്ല.

  • കമ്പ്ലയൻസ് (Compliance): ചില രാജ്യങ്ങളിലെ കർശനമായ ഡാറ്റാ കൈകാര്യം ചെയ്യൽ നിയമങ്ങൾ വിദേശങ്ങളിൽ ഹോസ്റ്റ് ചെയ്തിട്ടുള്ള മോഡലുകളുടെ ഉപയോഗം പരിമിതപ്പെടുത്തിയേക്കാം.
  • ഹോസ്റ്റിംഗ് സങ്കീർണ്ണത (Hosting complexity): വലിയ പ്രീമിയം മോഡലുകൾ സ്വന്തം സർവറുകളിൽ പ്രവർത്തിപ്പിക്കുന്നത് പ്രയാസകരമാണ്, അതിനാൽ സ്ഥാപനങ്ങൾക്ക് എക്സ്റ്റേണൽ API-കളെ ആശ്രയിക്കേണ്ടി വരുന്നു. ഇത് ലേറ്റൻസി (latency), വെണ്ടർ ലോക്ക് (vendor-lock) തുടങ്ങിയ ആശങ്കകൾ വർദ്ധിപ്പിക്കാം.

ഈ കാരണങ്ങളാൽ, കുറഞ്ഞ ചിലവുള്ള മോഡലുകൾ പ്രീമിയം മോഡലുകളെ പൂർണ്ണമായും മാറ്റിസ്ഥാപിക്കില്ല. പകരം, അവ പതിവ് ജോലികൾക്കായി ഉപയോഗിക്കപ്പെടുകയും, പ്രീമിയം മോഡലുകൾ ഉയർന്ന ചിലവ് ന്യായീകരിക്കപ്പെടുന്ന "ഡിസിഷൻ ലെയറിൽ" (decision layer) നിലനിൽക്കുകയും ചെയ്യും.

ഇനി ശ്രദ്ധിക്കേണ്ട കാര്യങ്ങൾ

  • റൂട്ടിംഗിനായുള്ള ടൂളുകൾ (Tooling for routing): റൂട്ടിംഗ് ലെയർ കൂടുതൽ പ്രധാനപ്പെട്ടതാകുമ്പോൾ, ലേറ്റൻസി, ചിലവ്, കോൺഫിഡൻസ് ത്രെഷോൾഡുകൾ (confidence thresholds) എന്നിവയുടെ അടിസ്ഥാനത്തിൽ മോഡൽ തിരഞ്ഞെടുപ്പ് ഓട്ടോമേറ്റ് ചെയ്യുന്ന നിരവധി SDK-കളും പ്ലാറ്റ്‌ഫോമുകളും വരാൻ സാധ്യതയുണ്ട്.

ഓരോ ടാസ്ക്കിന്റെയും വിജയം അളക്കുന്നതിനും, റീട്രൈകൾ (retries) ട്രാക്ക് ചെയ്യുന്നതിനും, "വോളിയം" (volume) ജോലികളെ "ജഡ്ജ്മെന്റ്" (judgment) ജോലികളിൽ നിന്ന് വേർതിരിക്കുന്നതിനും ശ്രദ്ധിക്കുന്ന ഡെവലപ്പർമാർക്ക് ഈ പുതിയ ഇൻഫ്രാസ്ട്രക്ചർ രീതിയിൽ നിന്ന് മികച്ച നേട്ടമുണ്ടാക്കാൻ സാധിക്കും.

ചുരുക്കത്തിൽ: AI സ്റ്റാക്ക് എന്നത് ഒരു മോഡൽ തിരഞ്ഞെടുക്കുന്നതിൽ നിന്ന് മാറി ഒരു റൂട്ടിംഗ് പ്രശ്നമായി മാറിക്കൊണ്ടിരിക്കുകയാണ്. ഇവിടെ കുറഞ്ഞ ചിലവുള്ള ഓപ്പൺ-വെയിറ്റ് മോഡലുകൾ ഭൂരിഭാഗം ജോലികളും ചെയ്യുന്നു, പ്രീമിയം മോഡലുകൾ ഉയർന്ന സ്വാധീനമുള്ള തീരുമാനങ്ങൾക്കായി മാറ്റിവെക്കുന്നു. ഈ റൂട്ടിംഗ് രീതിയിൽ വൈദഗ്ധ്യം നേടുന്നത് AI നിർമ്മാതാക്കൾക്ക് വരുംകാലങ്ങളിൽ വലിയ മത്സരശേഷി നൽകും.