AI உதவி மையம்: மீண்டும் மீண்டும் கேட்கப்படும் AI கேள்விகளுக்காகப் பணத்தை வீணாக்குவதை எப்படித் தடுப்பது?

பயனர்கள் AI செயலிகளிடம் ஒரே கேள்விகளைத் திரும்பத் திரும்பக் கேட்கிறார்கள். ஒவ்வொரு முறையும் AI-யிடம் கேட்பது மெதுவானது. இது உங்களுக்குப் பணத்தையும் செலவழிக்கச் செய்கிறது.

பதில்களை நினைவில் கொள்ளும் ஒரு அமைப்பின் மூலம் இதை நீங்கள் தீர்க்கலாம். இதை ஒரு உதவி மையம் (help desk) என்று நினைத்துக் கொள்ளுங்கள்.

இந்த உதவி மையம் எவ்வாறு செயல்படுகிறது என்பது இதோ:

• நிபுணர் (LLM) இது GPT அல்லது Claude போன்ற ஒரு AI மாதிரி (model). இது புத்திசாலித்தனமானது, ஆனால் மெதுவானது மற்றும் செலவு அதிகம் கொண்டது. புதிய கேள்விகளுக்கு மட்டுமே நிபுணரைத் தொந்தரவு செய்வதே இதன் நோக்கமாகும்.

• நோட்டுப் புத்தகம் (Cache) இந்த மையம் பதில்களை இங்கே குறித்து வைத்துக்கொள்ளும். நோட்டுப் புத்தகத்தைப் படிப்பது உடனடியானது மற்றும் இலவசமானது. • வார்த்தைக்கு வார்த்தை நோட்டு (Exact Cache): சரியாகப் பொருந்தும் பதில்களைக் கண்டறியும். • ஒரே அர்த்தம் கொண்ட நோட்டு (Semantic Cache): வார்த்தைகள் மாறினாலும் சரியான பதில்களைக் கண்டறியும்.

• அர்த்தத்தைப் படிப்பவர் (Embedding Model) இந்தக் கருவி ஒரு கேள்வியை "அர்த்தத்தின் கைரேகை" (meaning fingerprint) ஆக மாற்றுகிறது. இரண்டு கேள்விகள் ஒரே மாதிரியான கைரேகைகளைக் கொண்டிருந்தால், அவை ஒரே விஷயத்தைக் குறிக்கின்றன என்று அர்த்தம்.

• பொருளடக்கம் (Vector Store) இது சரியான பக்கத்தை உடனடியாகக் கண்டறிய மையத்திற்கு உதவும் ஒரு புத்திசாலித்தனமான அட்டவணை (index). இது இல்லையென்றால், மில்லியன் கணக்கான பதில்களைத் தேடுவது மிகவும் மெதுவாக இருக்கும்.

• வரவேற்பாளர் (Router) இவர்தான் முதலில் கேள்வியைப் பெறுவார். நிபுணரைத் தூண்டுவதற்கு முன், அவர் நோட்டுப் புத்தகங்களைச் சரிபார்க்கிறார்.

• லேபிள்கள் (Scope/Tenant Tags) ஒவ்வொரு பதிலுக்கும் ஒரு லேபிள் (label) வழங்கப்படும். "Anyone" என்பது அந்தப் பதில் பொதுவானது என்பதைக் குறிக்கிறது. "Private" என்பது ஒரு குறிப்பிட்ட பயனர் மட்டுமே அதைப் பார்க்க முடியும் என்பதைக் குறிக்கிறது. இது தனிப்பட்ட தரவுகளைப் பாதுகாப்பாக வைக்கிறது.

ஒரு கேள்வி மையத்தின் வழியாக எவ்வாறு நகர்கிறது:

1. ஒரு கேள்வி வருகிறது.
2. உதவியாளர் வேகமான, வார்த்தைக்கு வார்த்தை நோட்டுப் புத்தகத்தைச் சரிபார்க்கிறார்.
3. பொருத்தம் இல்லையென்றால், உதவியாளர் கைரேகைகளைப் பயன்படுத்தி ஒரே அர்த்தம் கொண்ட நோட்டுப் புத்தகத்தைச் சரிபார்க்கிறார்.
4. அப்போதும் பொருத்தம் இல்லையென்றால், புதிய பதிலைத் எழுத நிபுணர் (LLM) அழைக்கப்படுகிறார்.
5. மையம் அந்தப் பதிலைத் அடுத்த முறைக்காக நோட்டுப் புத்தகத்தில் சேமித்து வைக்கிறது.

முடிவு: உங்கள் செயலி 100,000 கேள்விகளைக் கையாள்கிறது மற்றும் கேச் (cache) அவற்றில் பாதியைத் தடுத்துவிட்டால்:

• உங்கள் AI கட்டணத்தில் 50% மிச்சமாகும்.
• காத்திருப்பு நேரம் வினாடிகளிலிருந்து மில்லி விநாடிகளாகக் குறையும்.
• உங்கள் பயனர்களின் எண்ணிக்கையை விட உங்கள் செலவுகள் மிக மெதுவாகவே அதிகரிக்கும்.

Source: https://dev.to/abhiram_paidi/the-ai-help-desk-how-to-stop-your-ai-app-from-re-answering-the-same-question-4650

Optional learning community: https://t.me/GyaanSetuAi