10x விலை வீழ்ச்சி என்பது ஒரு கட்டமைப்பு சார்ந்த பந்தயம்

சில டோக்கன்களைச் சேமிப்பதற்காக பொறியாளர்கள் ப்ராம்ப்ட்களை (prompts) மீண்டும் எழுதுவதில் பல மணிநேரங்களைச் செலவிடுகிறார்கள். இந்த முயற்சி பெரும்பாலும் வீணாகவே போகிறது.

டோக்கன்கள் இலவசமானவை அல்ல, ஆனால் AI-ன் செலவு மிக வேகமாக குறைந்து வருகிறது. ஒரு குறிப்பிட்ட அளவிலான AI செயல்திறனுக்கான செலவு ஒவ்வொரு ஆண்டும் சுமார் 10 மடங்கு குறைகிறது. இது LLMflation என்று அழைக்கப்படுகிறது.

இந்த போக்கு உண்மையானது என்பதை தரவுகள் காட்டுகின்றன:

  • 2021-ல் GPT-3 அளவிலான தரவுக்கான செலவு ஒரு மில்லியன் டோக்கன்களுக்கு $60 ஆக இருந்தது.
  • இப்போது Llama 3.2 3B பயன்படுத்தி இது சுமார் $0.06 ஆக உள்ளது.
  • இது மூன்று ஆண்டுகளில் 1,000 மடங்கு வீழ்ச்சியாகும்.
  • GPT-3.5 தரவுக்கான செலவு வெறும் 18 மாதங்களில் 280 மடங்கு குறைந்துள்ளது.

அதிநவீன (frontier) மாடல்கள் விலையுயர்ந்தவையாகவே இருக்கும். ஆனால் சாதாரண பணிகளுக்காக நீங்கள் பயன்படுத்தும் மாடல்களின் விலை மிக வேகமாகத் தாழ்ந்து கொண்டே செல்கிறது. நீங்கள் இன்றைய விலைக்கு ஏற்ப உங்கள் அமைப்பை மேம்படுத்தினால் (optimize), சில மாதங்களிலேயே காணாமல் போகும் ஒரு எண்ணத்திற்காக நீங்கள் உழைக்கிறீர்கள் என்று அர்த்தம்.

ப்ராம்ப்ட் தந்திரங்களில் கவனம் செலுத்தாதீர்கள். கட்டமைப்பில் (architecture) கவனம் செலுத்துங்கள்.

வெற்றி பெற இந்த மூன்று விதிகளைப் பின்பற்றுங்கள்:

• மாடலை ஒரு அங்கமாக (component) கருதுங்கள். உள்ளீடு மற்றும் வெளியீடுகளுக்கு ஒரே இடைமுகத்தைப் (interface) பயன்படுத்துங்கள். உங்கள் செயலியில் (app) குறிப்பிட்ட மாடல்களை நேரடியாகக் குறியீடாக (hard-code) சேர்க்காதீர்கள். இது ஒரு எளிய கட்டமைப்பு மாற்றத்தின் (config change) மூலம் மாடல்களை மாற்றிக்கொள்ள உதவும்.

• முதலில் ஒரு மதிப்பீட்டு கட்டமைப்பை (evaluation harness) உருவாக்குங்கள். ஒரு புதிய, மலிவான மாடல் பழைய மாடலைப் போலவே செயல்படுகிறதா என்பதை நிரூபிக்க உங்களுக்கு ஒரு சோதனைத் தொகுப்பு (test set) தேவை. சோதனைகள் இல்லையென்றால், ஏதேனும் தவறு நடந்துவிடுமோ என்ற பயத்தினால் நீங்கள் விலையுயர்ந்த மாடல்களிலேயே தங்கிவிடுவீர்கள்.

• விலை குறையாத விஷயங்களில் முதலீடு செய்யுங்கள். உங்கள் தரவின் தரம் (data quality), உங்கள் மீட்டெடுப்பு அமைப்புகள் (retrieval systems), உங்கள் பாதுகாப்பு வளையங்கள் (guardrails) மற்றும் உங்கள் பயனர் அனுபவம் (user experience) ஆகியவை ஆண்டுக்கு 10 மடங்கு விலை குறையாது. மாடல் மட்டுமே குறைகிறது.

வெறும் திறனுக்காக (raw capability) ஃபைன்-டியூனிங் (fine-tuning) செய்வதை நிறுத்துங்கள். ஃபைன்-டியூனிங் என்பது வளர்ந்து வரும் போக்கிற்கு எதிராகச் செய்யப்படும் ஒரு பந்தயம். இது உங்கள் தரவையும் உள்கட்டமைப்பையும் (infrastructure) ஒரு குறிப்பிட்ட மாடலோடு பிணைத்துவிடுகிறது. ஒரு புதிய அடிப்படை மாடல் (base model) வரும்போது, உங்கள் ஃபைன்-டியூன் செய்யப்பட்ட மாடல் ஒரு விலையுயர்ந்த காலாவதியான பொருளாக மாறிவிடும். உங்கள் பிராண்டின் தனித்துவமான தொனி (brand tone) அல்லது தனித்துவமான தரவு வடிவங்கள் (data formats) போன்ற மாறாத விஷயங்களுக்காக மட்டுமே ஃபைன்-டியூன் செய்யுங்கள்.

மாடல்களை எளிதாக மாற்றக்கூடிய ஒரு அமைப்பை உருவாக்குவதே வெற்றிகரமான உத்தியாகும். டோக்கன்களை எண்ணுவதை நிறுத்துங்கள். விலைக் குறைவுப் பாதையைத் தொடர்ந்து பயணிக்கும் வகையில் உங்கள் தயாரிப்பை வடிவமைத்திடுங்கள்.

Source: https://dev.to/aiexplore369zoho/the-10x-a-year-price-collapse-is-an-architecture-bet-not-a-prompt-trick-49df

Optional learning community: https://t.me/GyaanSetuAi