நீங்கள் பெரிய மொழி மாதிரிகளால் (large language models) இயங்கும் ஒரு தயாரிப்பை வெளியிட்டால், உங்கள் லாப வரம்பு (margin) உங்கள் சேவை வழங்குநரின் கட்டண அட்டையைப் (rate card) பொறுத்தே அமையும். Novita மற்றும் StreamLake ஆகிய இரண்டும் சமீபத்தில் அவற்றின் மாதிரி விலைகளை (model pricing) மாற்றியமைத்துள்ளன, இதன் பொருள் நீங்கள் கவனித்தாலும் இல்லாவிட்டாலும் உங்கள் யூனிட் எகனாமிக்ஸ் (unit economics) மாறியுள்ளது. இவை வழக்கமான பராமரிப்பு காலங்கள் அல்ல. இன்ஃபரன்ஸ் வழங்குநர்கள் (inference providers) தங்களின் ஒவ்வொரு டோக்கனுக்கான (per-token) கட்டணத்தை மாற்றும்போது, ஒரு ஆதரவு டிக்கெட்டை (support ticket) வகைப்படுத்துவதற்கோ, ஒரு ஆவணத்தைச் சுருக்குவதற்கோ அல்லது ஒரு குறியீட்டுப் பரிந்துரையை (code suggestion) உருவாக்குவதற்கோ ஆகும் செலவு ஒரே இரவில் மாறிவிடுகிறது. API விலையை ஒரு நிலையான பின்னணி விஷயமாகக் கருதும் டெவலப்பர்கள், பொதுவாகத் தங்களின் மாதந்திரப் பட்டியல் வந்த பின்னரே இந்தப் பிரச்சனையைத் தெரிந்துகொள்கிறார்கள்.
ஒரு அமைதியான விலை மாற்றம் ஏன் பட்ஜெட்டைச் சிதைக்கக்கூடும்
பெரும்பாலான பொறியியல் குழுக்கள் ஒரு இன்ஃபரன்ஸ் வழங்குநரைத் தேர்ந்தெடுத்து, சில லேட்டன்சி பெஞ்ச்மார்க்குகளை (latency benchmarks) இயக்கிவிட்டு, அடுத்த கட்டத்திற்குச் சென்றுவிடுகிறார்கள். பிராம்ப்ட் டெம்ப்ளேட்கள் (prompt templates) வெர்ஷன் கன்ட்ரோலுக்கு (version control) அனுப்பப்படுகின்றன, கிளையண்ட் கோட் (client code) தயாரிப்பு நிலைக்குச் செல்கிறது, மேலும் நிதித் துறை ஒரு தோராயமான மாதாந்திர மதிப்பீட்டைப் பெறுகிறது. அந்தப் பணிப்பாய்வு (workflow) அதுவரை வேலை செய்யும், அதுவரைதான். டோக்கன்கள் என்பது நுகரக்கூடிய ஒரு வளமாகும் (consumable resource). பயனர்களின் பயன்பாடு, சூழலின் நீளம் (context length) மற்றும் மீண்டும் முயற்சிக்கும் செயல்பாடு (retry behavior) ஆகியவற்றைப் பொறுத்து உங்கள் கட்டணம் அதிகரிக்கும். ஒரு ஸ்பிரெட்ஷீட்டில் (spreadsheet) சிறியதாகத் தோன்றும் விலை உயர்வு, அதிக பயன்பாடு கொண்ட ஒரு அம்சத்தின் (feature) லாப வரம்பையே அழித்துவிடக்கூடும்.
இதன் தாக்கம் முற்றிலும் உங்கள் பயன்பாட்டு முறையைப் பொறுத்தது. சிறிய வகைப்பாட்டு பிராம்ப்ட்களை (classification prompts) அனுப்பும் ஒரு குழு, எதையும் மாற்றியமைக்காமலேயே விலை மாற்றத்தைத் தாங்கிக்கொள்ளலாம். நீண்ட சூழல் சாளரங்களை (long context windows) செயலாக்கும் அல்லது ஆயிரக்கணக்கான பக்கங்களில் பேட்ச் வேலைகளை (batch jobs) இயக்கும் ஒரு குழு, தங்களின் செலவு விகிதம் (burn rate) வேகமாக அதிகரிப்பதைக் காணக்கூடும். உங்கள் சராசரி அழைப்பு இருநூறு டோக்கன்களா அல்லது இருபதாயிரம் டோக்கன்களா என்பதைப் பொறுத்து, அதே சதவீத மாற்றம் வெவ்வேறு தாக்கங்களை ஏற்படுத்தும். அதனால்தான் Novita மற்றும் StreamLake ஆகியவற்றின் அறிவிப்புகளைத் தீவிரமாகப் பார்க்க வேண்டியது அவசியம். பயனருக்கான உங்கள் சராசரி செலவு உங்கள் கணிப்புகளைத் தாண்டிச் சென்றுவிட்டதா என்பதையும், டிராஃபிக்கை (traffic) மாற்றுவதற்கான நேரம் இதுதானா என்பதையும் நீங்கள் தெரிந்துகொள்ள வேண்டும்.
Novita-வின் விலை மாற்ற அறிவிப்பு
Novita சமீபத்தில் அதன் மாதிரி விலைகளை மாற்றியமைத்துள்ளது. இந்தத் தளம் பல்வேறு மொழி மாதிரிகளை வழங்குகிறது, மேலும் அங்கு ஏற்படும் எந்த மாற்றமும் அதை முதன்மை இன்ஃபரன்ஸ் லேயராகப் (primary inference layer) பயன்படுத்தும் குழுக்களின் செயல்பாட்டுச் செலவுகளில் (operating costs) நேரடியாகப் பிரதிபலிக்கும். Novita பல மாதிரிகளைத் தரமான முறையில் வழங்குவதால், இந்த மாற்றம் அதன் பட்டியலில் (catalog) சீராக இல்லாமல் இருக்கலாம். ஒரு வகை மாதிரிகளின் விலை மாறாமல் இருக்கலாம், அதே நேரத்தில் மற்றொரு வகை மாறலாம். ஒரு பொதுவான அறிவிப்பு சொல்வதை விட, இந்த நுணுக்கமான வேறுபாடுகள் மிக முக்கியமானவை.
நீங்கள் அனைத்து டிராஃபிக்கையும் ஒரே மாடல் ஐடி (model ID) மூலம் வழிநடத்தினால், உங்கள் புதிய திட்டமிடப்பட்ட செலவைக் கணக்கிடுவது எளிது. நீங்கள் Novita-வின் பட்டியலைத் து动态கரமாகப் பயன்படுத்தி, சிக்கலான பிராம்ப்ட்களைப் பெரிய மாதிரிகளுக்கும், எளிய பிராம்ப்ட்களைச் சிறிய மாதிரிகளுக்கும் வழிநடத்தினால், உங்கள் கலப்பு சராசரி செலவு (blended average cost) எந்த ஒரு தனிப்பட்ட எச்சரிக்கையாலும் விளக்க முடியாத வகையில் மாறியிருக்கலாம். இதைத் தெரிந்துகொள்ள ஒரே வழி, உங்கள் பயன்பாட்டுப் பதிவுகளைப் (usage logs) பெற்று, அவற்றை மாடல்களின் அடிப்படையில் குழுவாக்கி, உண்மையான டோக்கன் எண்ணிக்கையை புதிய கட்டண அட்டையுடன் பெருக்குவதாகும். ஒரு மில்லியன் டோக்கன்களுக்கான விலை முன்பு எவ்வளவு இருந்தது என்பதை உங்கள் நினைவாற்றலை மட்டும் நம்பிவிடாதீர்கள். அதை எழுதி வையுங்கள். ஒரு வரலாற்றுப் பதிவை (historical record) வைத்திருங்கள். அடுத்த மாற்றம் உங்களை நிலைகுலையச் செய்யாமல் இருக்க, அதை உங்கள் காலாண்டு ஆய்வுச் சுழற்சியின் (quarterly review cycle) ஒரு பகுதியாக ஆக்குங்கள்.
StreamLake-இன் விலை மாற்ற அறிவிப்பு
StreamLake-உம் அதன் மாதிரிகளில் விலை மாற்றத்தை நடைமுறைப்படுத்தியுள்ளது. அதன் ஸ்டேக் உடன் (stack) ஒருங்கிணைந்துள்ள குழுக்களுக்கு, டோக்கன் விகிதங்களில் ஏற்படும் எந்த மாற்றமும் உள்ளடக்கப் பகுப்பாய்வு (content analysis), டிரான்ஸ்கிரிப்ஷன் பேக்-எண்ட்கள் (transcription back-ends), ஜெனரேட்டிவ் அம்சங்கள் (generative features) அல்லது அந்தத் தளத்தின் மூலம் இயங்கும் பிற மொழிப் பணிகளின் கணக்கீட்டை மாற்றும். மாற்றத்தின் அளவு எவ்வளவு என்பது இரண்டாம் பட்சம், அதன் கூட்டு விளைவுதான் (compounding effect) முக்கியமானது. பல சூழல்களில் (environments) ஒரு நாளைக்கு மில்லியன் கணக்கான டோக்கன்களை நீங்கள் செயலாக்கும்போது, ஒரு சிறிய டோக்கன் விலை உயர்வு கூடப் பெரிய அளவில் சேர்ந்துவிடும்.
உண்மையான கேள்வி புதிய விலை என்ன என்பது அல்ல, அந்தப் புதிய விலை ஒரு அம்சத்திற்கான உங்கள் மொத்த லாப வரம்பை (gross margin per feature) எவ்வாறு பாதிக்கிறது என்பதேயாகும். StreamLake ஒரு வாடிக்கையாளர் சார்ந்த சுருக்கக் கருவிக்கோ (summarization tool) அல்லது ஒரு உள்முறைக் கட்டுப்பாட்டு அடுக்குக்கோ (internal moderation layer) சக்தியாக இருந்தால், உங்கள் விற்பனைச் செலவு (cost of goods sold) இப்போது மாறியுள்ளது. உங்கள் கண்காணிப்பு கருவிகளில் (observability tooling) அந்தச் செலவை நீங்கள் தெளிவாகப் பிரிக்க வேண்டும். அந்த API அழைப்புகளை வழங்குநர் மற்றும் அம்சம் வாரியாகக் குறியீடு (tag) செய்யுங்கள், அப்போதுதான் விலைப்பட்டியல் (invoice) வரும்போது, அதை நீங்கள் துல்லியமாகப் பிரிக்க முடியும். ஒரு பயன்பாட்டு முறை லாபமற்றதாக மாறியிருந்தால், அதைத் தணிக்கச் செய்ய வேண்டுமா (throttle), சிறிய மாடலுக்குக் குறைக்க வேண்டுமா அல்லது ஒரு மூலோபாயச் செலவாக (strategic cost) ஏற்க வேண்டுமா என்பதைத் தீர்மானிக்க உங்களிடம் தரவுகள் இருக்க வேண்டும்.
உங்கள் இன்ஃபரன்ஸ் செலவை எவ்வாறு தணிக்கை செய்வது
ஏற்றுக்கொள்வது