API விலை என்பது வெறும் ஒரு வரிப் பட்டியல் மட்டுமல்ல. AI அம்சங்களை உருவாக்கும் குழுக்களுக்கு, அது ஒரு கட்டமைப்பு மாறியாகும் (structural variable). Novita மற்றும் StreamLake தங்களது மாடல் விலைகளை மாற்றும்போது, அதன் தாக்கம் ஒரு சிறிய விலை மாற்றமாக மட்டும் இருப்பதில்லை. அது ஒரு அலகுப் பொருளாதாரக் கணக்கீட்டை (unit economics) மறுபரிசீலனை செய்யவும், மாடல் தேர்வுகளைச் சமநிலைப்படுத்தவும் மற்றும் கட்டடக்கலை சார்ந்த அனுமானங்களை (architectural assumptions) ஆய்வு செய்யவும் ஒரு சமிக்ஞையாக அமைகிறது. நீங்கள் இந்தத் தளங்களில் ஏதேனும் ஒன்றின் மூலம் நேரடிப் பயன்பாட்டுப் போக்குவரத்தை (production traffic) இயக்குகிறீர்கள் என்றால், சரியாக என்ன மாறியுள்ளது மற்றும் அதற்கு எவ்வாறு பதிலளிக்க வேண்டும் என்பதை நீங்கள் தெரிந்து கொள்ள வேண்டும்.

உற்பத்திப் பணிகளுக்கு (Production Workloads) விலை மாற்றங்கள் ஏன் முக்கியம்

டோக்கன் அடிப்படையிலான கட்டணம் (Token-based billing), பயன்பாடு அதிகரிக்கும் வரை மலிவாகத் தோன்றும். ஒரு மில்லியன் டோக்கன்களுக்குச் சில டாலர்கள் என்பது ஒரு முன்மாதிரி (prototype) நிலையில் வெறும் சத்தமாகத் தெரியலாம். ஆனால், நேரடிப் பயனர்களுக்குச் சேவை செய்யும் மில்லியன் கணக்கான வெளியீடு டோக்கன்களுக்கு இதைப் பெருக்கிக் கணக்கிடும்போது, அது உங்கள் மிகப்பெரிய மாறுபடும் செலவுகளில் ஒன்றாக மாறிவிடும். பெரும்பாலான LLM வழங்குநர்கள் உள்ளீடு (input) மற்றும் வெளியீடு (output) டோக்கன்களுக்கு இடையே கட்டணங்களைப் பிரிக்கிறார்கள்; அந்த இரண்டு எண்களுக்கு இடையிலான விகிதமே, நீண்ட உரையாடல்கள் அல்லது அதிகப்படியான தொகுப்புப் பணிகளின் (batch jobs) போது உங்கள் பயன்பாடு பணத்தை இழக்கிறதா இல்லையா என்பதைத் தீர்மானிக்கிறது.

தினமும் பத்தாயிரம் கேள்விகளைக் கையாளும் ஒரு வாடிக்கையாளர் சேவை உதவியாளரை எடுத்துக் கொள்ளுங்கள். ஒரு சராசரி உரையாடல் இரண்டாயிரம் உள்ளீடு டோக்கன்களையும் ஐந்நூறு வெளியீடு டோக்கன்களையும் பயன்படுத்துகிறது என்றால், ஆயிரம் டோக்கன்களுக்கு ஒரு பங்கில் ஒரு சென்ட் என்ற அளவில் விலை மாறினாலும், உங்கள் மாதாந்திரப் பட்டியல் நூற்றுக்கணக்கான டாலர்கள் உயரும். நீங்கள் retrieval-augmented generation (RAG) சூழல், அமைப்புத் தூண்டுதல்கள் (system prompts) மற்றும் பலமுறை உரையாடல் நினைவகம் (multi-turn memory) ஆகியவற்றைக் கூட்டும்போது, உள்ளீடுப் பக்கம் எதிர்பார்த்ததை விட வேகமாகப் பெருகுகிறது. இந்தத் துல்லியமான கட்டமைப்பிற்கு, வெளியீடு டோக்கன்களின் விலையை விட உள்ளீடு டோக்கன்களின் விலை உயர்வு அதிக பாதிப்பை ஏற்படுத்தும். மாறாக, வெளியீடு டோக்கன்களின் விலை குறைவது, உரையாடல் சார்ந்த பயன்பாடுகளுக்குப் பெரும் பலனைத் தரும்.

Novita ஒரு மாடல் ஒருங்கிணைப்பாளராக (model aggregator) செயல்படுகிறது, இது டெவலப்பர்களுக்கு ஒரே ஒரு endpoint மூலம் பல்வேறு open-weight மற்றும் proprietary மாடல்களை அணுக வழிவகை செய்கிறது. அந்த வசதி மதிப்புமிக்கதுதான், ஆனால் விலை மாற்றங்கள் ஒரே நேரத்தில் பல மாடல் குடும்பங்களைப் பாதிக்கக்கூடும் என்பதையும் அது குறிக்கிறது. ByteDance-இன் உள்கட்டமைப்பு சூழலை அடிப்படையாகக் கொண்ட StreamLake, அதன் விரிவான கிளவுட் மற்றும் மீடியா சேவைகளுடன் LLM அணுகலையும் வழங்குகிறது. அங்கு விலை மாற்றங்கள் தனித்து நடப்பதில்லை; அவை ஏற்கனவே அந்தத் தொழில்நுட்பக் கட்டமைப்பைப் பயன்படுத்தும் குழுக்களின் மொத்த உரிமையாளர் செலவை (total cost of ownership) பாதிக்கின்றன.

Novita மற்றும் StreamLake-இல் என்ன மாறியுள்ளது

Novita அல்லது StreamLake ஆகிய இரண்டுமே விலையை நிலையானது என்று கருதுவதில்லை. இரண்டுமே தங்களது மாடல் விலைகளை மாற்றியுள்ளன, மேலும் அதன் விவரங்கள் மாடல் வகை மற்றும் டோக்கன் வகையைப் பொறுத்து மாறுபடும். புதிய விலை அட்டவணைகளுடன் (rate cards) ஒப்பிட்டுச் சரிபார்க்கும் வரை, உங்கள் தற்போதைய திட்ட மதிப்பீடுகளைப் பழையதாகவே கருத வேண்டும்.

Novita-வைப் பொறுத்தவரை, இந்த மாற்றங்கள் நீங்கள் பயன்படுத்தும் முன்னணி மாடல்களுக்கு (frontier models) பொருந்துமா அல்லது உங்கள் அதிகப்படியான போக்குவரத்தைக் கையாளும் மலிவான மாற்றுத் தேர்வுகளுக்கு (fallback options) பொருந்துமா என்பதை உன்னிப்பாகக் கவனியுங்கள். ஒருங்கிணைப்பாளர்கள் பெரும்பாலும் தங்களது சொந்த inference செலவுகளைப் பிரதிபலிக்க விலையை மாற்றியமைக்கிறார்கள்; மாடல்கள் புதுப்பிக்கப்படும்போது அல்லது வன்பொருள் ஒப்பந்தங்கள் மாறும்போது இந்தச் செலவுகள் மாறுபடும். நேற்று வரை உங்கள் செலவு குறைந்த வேலையாட்களாக இருந்த ஒரு மாடல், இன்று வேறு ஒரு விலைப் பிரிவில் இருக்கலாம்.

StreamLake-இன் விலை மாற்றங்கள், நீங்கள் அதன் கிளவுட் உள்கட்டமைப்புடன் LLM பயன்பாட்டையும் இணைத்துப் பயன்படுத்தினால் மட்டுமே முக்கியத்துவம் வாய்ந்தவை. உங்கள் கணினி (compute) மற்றும் சேமிப்புச் செலவுகள் நிலையாக இருந்தாலும், மாடல் விலையில் ஏற்படும் மாற்றங்கள் உங்கள் மொத்த மாதாந்திரச் செலவைக் கணக்கிடும் முறையை மாற்றக்கூடும். ஒரு பெரிய ByteDance சூழலுக்குள் StreamLake-ஐப் பயன்படுத்தும் குழுக்கள், புதிய விலைகள் தங்களது தற்போதைய ஒப்பந்தங்களைப் பாதிக்கின்றனவா அல்லது pay-as-you-go நிலைகளை மட்டுமே பாதிக்கின்றனவா என்பதைச் சரிபார்க்க வேண்டும்.

உங்கள் தொழில்நுட்பக் கட்டமைப்பில் (Stack) ஏற்படும் தாக்கத்தை எவ்வாறு ஆய்வு செய்வது

உங்கள் முதல் படி, கடந்த முப்பது நாட்களின் பயன்பாட்டுப் பதிவுகளைப் (usage logs) பெற்று, புதிய விலைகளுடன் ஒப்பிட்டுப் பார்ப்பதாகும். வெறும் சதவீதத்தை மட்டும் பார்க்காதீர்கள். அதை விரிவாகப் பிரிக்கவும்:

  • உள்ளீடு டோக்கன் விகிதங்கள் மற்றும் வெளியீடு டோக்கன் விகிதங்கள்
  • சூழல் சேமிப்பு (Context caching) கட்டணங்கள், ஏதேனும் இருந்தால்