OpenRouter தளத்தில் தற்போது 63% டோக்கன் போக்குவரத்து (token traffic) open-weight AI மாடல்களால் கையாளப்படுகிறது; இது வெறும் இரண்டு ஆண்டுகளுக்கு முன்பு 5%-க்கும் குறைவாக இருந்தது. டோக்கன் செலவு 50 மடங்கு குறைந்ததும், செயல்திறன் இடைவெளி குறைந்து வந்ததும், மூடிய மூல (closed-source) API-களைச் சார்ந்திருப்பதை டெவலப்பர்கள் மறுபரிசீலனை செய்யத் தூண்டுகின்றன.

இந்த மாற்றத்தின் பின்னணியில் உள்ள எண்கள்

Mozilla-வின் போக்குவரத்து பகுப்பாய்வு, OpenRouter தளத்தில் open-weight மாடல்கள் கணக்கீட்டுத் திறனின் (compute) முதன்மையான ஆதாரமாக மாறியுள்ளன என்பதைக் காட்டுகிறது. டோக்கன் போக்குவரத்து என்பது ஒரு மாடலால் செயலாக்கப்படும் ஒவ்வொரு உரைத் துண்டையும் கணக்கிடுவதால், இது நிஜ உலகப் பயன்பாட்டிற்கான ஒரு நம்பகமான அளவுகோலாக அமைகிறது. இவ்வளவு குறுகிய காலத்தில் 5%-க்கும் குறைவான நிலையிலிருந்து 63%-ஆக உயர்ந்துள்ளது, இது ஒரு தற்காலிகப் போக்கு என்பதை விட ஒரு கட்டமைப்பு மாற்றத்தைக் குறிக்கிறது.

பொருளாதாரம் ஏன் மாறியது

2023-இல், ஒரு மில்லியன் டோக்கன்களைச் செயலாக்க உயர் செயல்திறன் கொண்ட மாடலை இயக்குவதற்குத் தோராயமாக $20 செலவானது. இன்று அந்த விலை $0.40 மட்டுமே—கடந்த 36 மாதங்களில் 50 மடங்கு குறைப்பு எட்டப்பட்டுள்ளது.

செயல்திறன் இடைவெளி குறைகிறது

திறந்தநிலை (Open) மாடல்கள் தரப்படுத்தப்பட்ட அளவீடுகளில் (benchmarks) உரிமம் பெற்ற (proprietary) மாடல்களை விட சுமார் 8% பின்தங்கியிருந்தன. சமீபத்திய அளவீடுகள் அந்த இடைவெளியை 3.3% ஆகக் குறைத்துள்ளன; சிறந்த தரவுத் தொகுப்பு (data curation) மற்றும் கட்டமைப்பு மாற்றங்கள் (architectural tweaks) மூலம் சில மாதங்களிலேயே இந்த முன்னேற்றம் எட்டப்பட்டுள்ளது. இந்த இடைவெளி இப்போது மிகவும் குறைந்துவிட்டதால், குறிப்பாகச் செலவு முக்கியமாகக் கருதப்படும்போது, ஒரு மூடிய மாடலுக்குப் பதிலாகத் திறந்தநிலை மாடலைப் பயன்படுத்துவதில் பெரிய பாதிப்புகள் இல்லை என்று பல டெவலப்பர்கள் கருதுகின்றனர்.

டெவலப்பர்கள் பெருமளவில் மாறுகின்றனர்

AI அம்சங்களைச் சேர்க்கும் டெவலப்பர்களில் 79% பேர் இப்போது ஒரு open-weight மாடலுடன் தான் தொடங்குகின்றனர் என்று Mozilla தரவுகள் காட்டுகின்றன. இந்தத் தெரிவு வெறும் விலையை மட்டும் சார்ந்தது அல்ல; திறந்தநிலை மாடல்கள் எடைகள் (weights), உரிமம் (licensing) மற்றும் பயன்பாட்டு விருப்பங்கள் (deployment options) ஆகியவற்றில் குழுக்களுக்கு முழுமையான வெளிப்படைத்தன்மையைக் கொடுக்கின்றன, இது விரைவான மேம்பாட்டுச் சுழற்சிகளுக்கு (iteration cycles) வழிவகுக்கிறது.

இறையாண்மை அவசியத்தை அதிகரிக்கிறது

சமீபத்தில் நாற்பத்தேழு நாடுகள் முக்கியமான பணிகளை (critical workloads) வெளிநாட்டு AI சேவைகளைக் கொண்டு செயலாக்குவதைக் கட்டுப்படுத்தியுள்ளன. திறந்தநிலை மாடல்களை உள்நாட்டு உள்கட்டமைப்பில் (domestic infrastructure) ஹோஸ்ட் செய்ய முடியும் என்பதால், அந்த நாடுகள் தரவுத் கட்டுப்பாட்டைத் தக்கவைத்துக்கொள்ளவும், வளர்ந்து வரும் விதிமுறைகளுக்கு இணங்கவும் இது உதவுகிறது. நிதி, சுகாதாரம் மற்றும் பொது நிர்வாகத் துறைகளில் இத்தகைய கொள்கை அழுத்தங்கள் இந்தத் தொழில்நுட்பப் பயன்பாட்டைத் துரிதப்படுத்துகின்றன.

உண்மையான பாதுகாப்பு அரண் என்பது “harness” ஆகும்

இதனுடன் தொடர்புடைய கருவிகள்—prompt-engineering கட்டமைப்புகள், பாதுகாப்பு வடிகட்டிகள் (safety filters), orchestration pipelines—ஆகியவை, ஒரு மாடலைச் சற்றே சிறந்த மாடலாக மாற்றுவதை விட அதிக செயல்திறன் பலன்களைத் தருகின்றன என்று Mozilla-வின் பகுப்பாய்வு சுட்டிக்காட்டுகிறது.

மூடிய API-களில் முடங்கிக் கிடப்பதன் அபாயங்கள்

  • விற்பனையாளர் அபாயம் (Vendor risk) – கொள்கை மாற்றங்கள், விலை மாற்றங்கள் அல்லது அரசாங்க உத்தரவுகள் உடனடியாக அணுகலைத் துண்டிக்கலாம், இதனால் புதிய ஒப்பந்தம் கையெழுத்தாகும் வரை சேவைகள் முடங்கிப் போகலாம்.

இன்றைய டெவலப்பர்களுக்கான நடைமுறைத் தொகுப்பு (Pragmatic stack)

  • பெரும்பாலான உற்பத்திப் பணிகளுக்கு (production workloads) open-weight மாடல்களையே முதன்மையாகப் பயன்படுத்தவும்.
  • harness-இல் முதலீடு செய்யவும்: மதிப்பீட்டுத் தொகுப்புகளை (evaluation suites) உருவாக்கவும், மீண்டும் பயன்படுத்தக்கூடிய prompt நூலகங்களை (prompt libraries) மேம்படுத்தவும் மற்றும் பாதுகாப்பு அடுக்குகளை (safety layers) ஒருங்கிணைக்கவும்.
  • எளிதில் மாற்றக்கூடிய வகையில் வடிவமைக்கவும் (Design for portability): குறியீட்டு மாற்றங்கள் இன்றி பல வழங்குநர்களுக்குத் திசைதிருப்பக்கூடிய ஒரு இடைமுகத்தின் (interface) பின்னால் மாடல் அழைப்புகளை (model calls) மறைத்து வைக்கவும்.
  • மிகச்சிறந்த பகுத்தறிவுத் திறன் அல்லது திறந்தநிலை மாடல்களால் இன்னும் ஈடுசெய்ய முடியாத உரிமம் பெற்ற தரவுகள் தேவைப்படும் அந்தத் தோராயமான 10% பணிகளுக்காக மட்டும் மூடிய மாடல்களை ஒதுக்கி வைக்கவும்.

அடுத்து கவனிக்க வேண்டியவை

திறந்தநிலை எடைகளைக் கொண்ட (open-weight) மாடல்கள் இப்போது AI டோக்கன் சந்தையை ஆக்கிரமித்துள்ளன, ஏனெனில் அவை மிகக் குறைந்த விலையில் கிடைப்பதோடு, மூடிய மாடல்களுக்கு இணையான திறனையும் கொண்டுள்ளன. ஒரு வலுவான harness-ஐ உருவாக்கி, தங்கள் தொழில்நுட்பத் தொகுப்புகளை (stacks) எளிதில் மாற்றக்கூடிய வகையில் வைத்திருக்கும் குழுக்கள், செலவுகளைக் குறைப்பதோடு மட்டுமல்லாமல், விற்பனையாளர் மற்றும் கொள்கை மாற்றங்களால் ஏற்படும் பாதிப்புகளிலிருந்தும் தங்களைப் பாதுகாத்துக் கொள்ளும். மூடிய மாடல்கள் சிறப்புத் கருவிகளாகத் தொடரலாம், ஆனால் AI பணிகளில் பெரும்பகுதி ஏற்கனவே திறந்தநிலைத் தளத்திற்கு மாறிவருகிறது.