𝗖𝗵𝗮𝘁𝗚𝗣𝗧 𝟰 நடைமுறையில்

நான் GPT-4 ஐப் பயன்படுத்தி ஒரு SaaS நிறுவனத்திற்காக டிக்கெட் வகைப்படுத்தும் (ticket triage) போட் ஒன்றை உருவாக்கினேன். இந்தத் தொழில்நுட்பம் நிஜ உலகில் எவ்வாறு செயல்படுகிறது என்பதை இது எனக்குக் கற்றுக்கொடுத்தது.

இது எவ்வாறு செயல்படுகிறது: OpenAI இந்த மாதிரிகளை (models) இரண்டு நிலைகளில் உருவாக்குகிறது. முதலில், அவர்கள் மிகப்பெரிய உரைத் தரவுத் தொகுப்புகளைக் (text datasets) கொண்டு மாதிரியை முன்-பயிற்சி (pre-train) செய்கிறார்கள். இது இலக்கணம் மற்றும் உண்மைகளைக் கற்றுக்கொடுக்கிறது. இரண்டாவதாக, மனிதர்கள் மாதிரியைச் செம்மைப்படுத்துகிறார்கள் (fine-tune). இது அறிவுறுத்தல்களைப் பின்பற்றுவதற்கும் பாதுகாப்பாக இருப்பதற்கும் கற்றுக்கொடுக்கிறது.

எனது அமைப்பு:

  • நான் Azure OpenAI endpoint ஐப் பயன்படுத்தினேன்.
  • ஒரு லேயராக (layer) FastAPI ஐப் பயன்படுத்தினேன்.
  • ஒவ்வொரு கோரிக்கைக்கும் (request) 2k token வரம்பை நிர்ணயித்தேன்.
  • மீண்டும் மீண்டும் வரும் வினவல்களை (queries) சேமித்து வைக்க (cache) Redis ஐப் பயன்படுத்தினேன்.

முடிவுகள்: சிறிய செய்திகளுக்கு தாமத நேரம் (Latency) சுமார் 350ms ஆக இருந்தது. பெரிய செய்திகள் 1.2s வரை அதிகரித்தது. அதிகப்படியான பணிச்சுமையைக் கையாள ஒரு keyword classifier ஐப் பயன்படுத்த வேண்டிய கட்டாயம் எங்களுக்கு ஏற்பட்டது. செலவுகள் அதிகமாக இருந்தன. ஒரு ஆதரவு சேனலுக்காக (support channel) நாங்கள் மாதம் $2,000 செலவழித்தோம்.

அபாயங்கள்: மாதிரி தவறுகளைச் செய்கிறது. நீண்ட உரையாடல்களில் அது சூழலை (context) இழந்துவிடுகிறது. இது மிகுந்த நம்பிக்கையுடன் தவறான உண்மைகளைக் கூறக்கூடும். இது 'hallucination' என்று அழைக்கப்படுகிறது.

நான் இதை எவ்வாறு சரி செய்தேன்: நான் Pinecone vector store ஐப் பயன்படுத்தி ஒரு சரிபார்ப்புப் படிநிலையைச் (validation step) சேர்த்தேன்.

  • மாதிரி ஒரு பதிலை உருவாக்குகிறது.
  • அந்தப் பதிலை நாங்கள் ஒரு தொகுக்கப்பட்ட அறிவுத் தளத்துடன் (curated knowledge base) ஒப்பிட்டுச் சரிபார்க்கிறோம்.
  • ஒற்றுமை மதிப்பெண் (similarity score) 0.78-க்குக் கீழே இருந்தால், ஒரு மனிதர் அதை ஆய்வு செய்வார். இந்த வடிகட்டி (filter) 42% தவறான கூற்றுகளைக் கண்டறிந்தது. இது பதிலளிக்கும் நேரத்தை (response time) 120ms அதிகரித்தது.

கண்காணிப்பு மிக முக்கியமானது: பிழை விகிதங்கள் (error rates) மற்றும் token பயன்பாட்டைக் கண்காணிக்க நான் Prometheus மற்றும் Grafana ஐப் பயன்படுத்தினேன். hallucinations போக்குவரத்து அளவில் (traffic) 5%-க்கும் அதிகமாக இருந்தால், PagerDuty எச்சரிக்கைகள் (alerts) செயல்படும் வகையில் அமைத்தேன். இது அதிக பாதிப்பை ஏற்படுத்துவதற்கு முன்பே ஒரு தவறான prompt template ஐ சரிசெய்ய எங்களுக்கு உதவியது.

சுருக்கமாகச் சொன்னால்: GPT-4 என்பது மந்திரம் அல்ல. இது நீங்கள் வேகமாக வேலை செய்ய உதவும் ஒரு கருவி மட்டுமே. கோடிங் (coding), சுருக்கம் செய்தல் (summarizing) மற்றும் எழுதுதல் ஆகியவற்றிற்கு இதைப் பயன்படுத்துங்கள். முக்கியமான உண்மைகளை நீங்களே சரிபார்க்காமல் அதை நம்பிவிடாதீர்கள்.

Source: https://dev.to/lavkeshdwivedi/chatgpt-4-3hi6

Optional learning community: https://t.me/GyaanSetuAi