𝗖𝗵𝗮𝘁𝗚𝗣𝗧 𝟰 પ્રેક્ટિકલમાં

મેં GPT-4 નો ઉપયોગ કરીને એક SaaS કંપની માટે ટિકિટ ટ્રાયજ બોટ (ticket triage bot) બનાવ્યો. આનાથી મને શીખવા મળ્યું કે વાસ્તવિક દુનિયામાં આ ટેકનોલોજી કેવી રીતે કામ કરે છે.

તે કેવી રીતે કામ કરે છે: OpenAI આ મોડલ્સ બે તબક્કામાં બનાવે છે. પ્રથમ, તેઓ વિશાળ ટેક્સ્ટ ડેટાસેટ્સ પર મોડલને પ્રી-ટ્રેન (pre-train) કરે છે. આ મોડલને વ્યાકરણ અને તથ્યો શીખવે છે. બીજું, માણસો મોડલને ફાઇન-ટ્યુન (fine-tune) કરે છે. આ તેને સૂચનાઓનું પાલન કરવાનું અને સુરક્ષિત રહેવાનું શીખવે છે.

મારું સેટઅપ:

  • મેં Azure OpenAI endpoint નો ઉપયોગ કર્યો.
  • મેં એક લેયર તરીકે FastAPI નો ઉપયોગ કર્યો.
  • મેં દરેક રિક્વેસ્ટ માટે 2k ટોકન લિમિટ સેટ કરી.
  • મેં વારંવાર આવતી ક્વેરીઝને કેશ (cache) કરવા માટે Redis નો ઉપયોગ કર્યો.

પરિણામો: નાના મેસેજ માટે લેટન્સી (latency) આશરે 350ms રહી. મોટા મેસેજને કારણે તે 1.2s સુધી વધી ગઈ. આના કારણે ભારે લોડ માટે અમારે કીવર્ડ ક્લાસિફાયર (keyword classifier) નો ઉપયોગ કરવો પડ્યો. ખર્ચ ઊંચો હતો. અમે એક સપોર્ટ ચેનલ પર દર મહિને $2,000 ખર્ચતા હતા.

જોખમો: મોડલ ભૂલો કરે છે. લાંબી ચેટમાં તે સંદર્ભ (context) ગુમાવી દે છે. તે ખૂબ જ આત્મવિશ્વાસ સાથે ખોટા તથ્યો જણાવી શકે છે. આને 'હેલ્યુસિનેશન' (hallucination) કહેવામાં આવે છે.

મેં તેને કેવી રીતે સુધાર્યું: મેં Pinecone vector store નો ઉપયોગ કરીને એક વેરિફિકેશન સ્ટેપ ઉમેર્યું.

  • મોડલ એક જવાબ જનરેટ કરે છે.
  • અમે તે જવાબને ક્યુરેટેડ નોલેજ બેઝ (knowledge base) સાથે તપાસીએ છીએ.
  • જો સિમિલારિટી સ્કોર (similarity score) 0.78 થી ઓછો હોય, તો માણસ તેની સમીક્ષા કરે છે. આ ફિલ્ટરે 42% ખોટા નિવેદનો પકડી પાડ્યા. તેનાથી રિસ્પોન્સ ટાઇમમાં 120ms નો વધારો થયો.

મોનિટરિંગ મહત્વપૂર્ણ છે: મેં એરર રેટ (error rates) અને ટોકન વપરાશને ટ્રેક કરવા માટે Prometheus અને Grafana નો ઉપયોગ કર્યો. જો હેલ્યુસિનેશન ટ્રાફિકના 5% થી વધી જાય, તો PagerDuty એલર્ટ ટ્રિગર થાય તે રીતે મેં સેટિંગ કર્યું હતું. આનાથી અમને વધુ નુકસાન થાય તે પહેલાં ખરાબ પ્રોમ્પ્ટ ટેમ્પલેટને સુધારવાની તક મળી.

નિષ્કર્ષ: GPT-4 કોઈ જાદુ નથી. તે તમને ઝડપથી કામ કરવામાં મદદ કરવા માટેનું એક સાધન છે. તેનો ઉપયોગ કોડિંગ, સારાંશ (summarizing) અને લખવા માટે કરો. જાતે તપાસ કર્યા વગર મહત્વપૂર્ણ તથ્યો માટે તેના પર વિશ્વાસ ન કરો.

Source: https://dev.to/lavkeshdwivedi/chatgpt-4-3hi6

Optional learning community: https://t.me/GyaanSetuAi