ChatGPT 4 ఆచరణలో

నేను GPT-4 ఉపయోగించి ఒక SaaS సంస్థ కోసం టికెట్ ట్రైయేజ్ (ticket triage) బాట్‌ను రూపొందించాను. ఈ సాంకేతికత నిజ ప్రపంచంలో ఎలా పనిచేస్తుందో ఇది నాకు నేర్పింది.

ఇది ఎలా పనిచేస్తుంది: OpenAI ఈ మోడళ్లను రెండు దశల్లో నిర్మిస్తుంది. మొదట, వారు భారీ టెక్స్ట్ డేటాసెట్‌లపై మోడల్‌ను ప్రీ-ట్రైన్ (pre-train) చేస్తారు. ఇది మోడల్‌కు వ్యాకరణం మరియు వాస్తవాలను నేర్పిస్తుంది. రెండవది, మనుషులు మోడల్‌ను ఫైన్-ట్యూన్ (fine-tune) చేస్తారు. ఇది సూచనలను పాటించడం మరియు సురక్షితంగా ఉండటం నేర్పిస్తుంది.

నా సెటప్:

  • నేను Azure OpenAI ఎండ్‌పాయింట్‌ను ఉపయోగించాను.
  • నేను ఒక లేయర్‌గా FastAPIని ఉపయోగించాను.
  • ప్రతి రిక్వెస్ట్‌కు 2k టోకెన్ పరిమితిని నిర్ణయించాను.
  • పునరావృతమయ్యే క్వెరీలను క్యాష్ (cache) చేయడానికి నేను Redisని ఉపయోగించాను.

ఫలితాలు: చిన్న సందేశాలకు లేటెన్సీ (latency) సుమారు 350ms వద్ద ఉంది. పెద్ద సందేశాల వల్ల ఇది 1.2s వరకు పెరిగింది. దీనివల్ల ఎక్కువ లోడ్ ఉన్నప్పుడు కీవర్డ్ క్లాసిఫైయర్‌ను (keyword classifier) ఉపయోగించాల్సి వచ్చింది. ఖర్చులు ఎక్కువగా ఉన్నాయి. మేము ఒకే సపోర్ట్ ఛానెల్ కోసం నెలకు $2,000 ఖర్చు చేశాము.

రిస్క్‌లు: మోడల్ తప్పులు చేస్తుంది. సుదీర్ఘమైన చాట్‌లలో ఇది సందర్భాన్ని (context) కోల్పోతుంది. ఇది చాలా నమ్మకంగా తప్పుడు వాస్తవాలను చెప్పవచ్చు. దీనినే హాలూసినేషన్ (hallucination) అంటారు.

నేను దీన్ని ఎలా సరిదిద్దాను: నేను Pinecone వెక్టర్ స్టోర్‌ను ఉపయోగించి ఒక వ్యాలిడేషన్ (validation) దశను జోడించాను.

  • మోడల్ ఒక సమాధానాన్ని రూపొందిస్తుంది.
  • మేము ఆ సమాధానాన్ని ఒక క్యూరేటెడ్ నాలెడ్జ్ బేస్‌తో సరిచూస్తాము.
  • ఒకవేళ సిమిలారిటీ స్కోర్ (similarity score) 0.78 కంటే తక్కువగా ఉంటే, ఒక మనిషి దానిని సమీక్షిస్తారు. ఈ ఫిల్టర్ 42% తప్పుడు ప్రకటనలను గుర్తించింది. ఇది రెస్పాన్స్ టైమ్‌ను (response time) 120ms పెంచింది.

మానిటరింగ్ చాలా ముఖ్యం: ఎర్రర్ రేట్లు మరియు టోకెన్ వినియోగాన్ని ట్రాక్ చేయడానికి నేను Prometheus మరియు Grafanaని ఉపయోగించాను. హాలూసినేషన్లు ట్రాఫిక్‌లో 5% కంటే ఎక్కువైతే PagerDuty అలర్ట్‌లు వచ్చేలా సెట్ చేశాను. దీనివల్ల ఎక్కువ నష్టం జరగకముందే మేము తప్పుగా ఉన్న ప్రాంప్ట్ టెంప్లేట్‌ను సరిదిద్దగలిగాము.

ముగింపు: GPT-4 అనేది మ్యాజిక్ కాదు. ఇది మీరు వేగంగా పనిచేయడానికి సహాయపడే ఒక సాధనం. కోడింగ్, సమ్మరైజింగ్ మరియు రైటింగ్ కోసం దీనిని ఉపయోగించండి. క్లిష్టమైన వాస్తవాల కోసం స్వయంగా తనిఖీ చేయకుండా దీనిని నమ్మకండి.

Source: https://dev.to/lavkeshdwivedi/chatgpt-4-3hi6

Optional learning community: https://t.me/GyaanSetuAi