𝗖𝗵𝗮𝘁𝗚𝗣𝗧 𝟰 𝗜𝗻 𝗣𝗿𝗮𝗰𝘁𝗶𝗰𝗲

Nilijenga bot ya kupanga tiketi (ticket triage bot) kwa ajili ya kampuni ya SaaS nikitumia GPT-4. Ilinifundisha jinsi teknolojia hii inavyofanya kazi katika ulimwengu halisi.

Jinsi inavyofanya kazi: OpenAI hujenga mifano hii katika hatua mbili. Kwanza, wanafanya mafunzo ya awali (pre-train) kwa kutumia seti kubwa za data za maandishi. Hii huifundisha modeli sarufi na ukweli. Pili, binadamu hufanya marekebisho ya kina (fine-tune) kwenye modeli. Hii huifundisha kufuata maelekezo na kubaki salama.

Mpangilio wangu:

  • Nilitumia Azure OpenAI endpoint.
  • Nilitumia FastAPI kama tabaka (layer).
  • Niliweka kikomo cha tokeni 2k kwa kila ombi.
  • Nilitumia Redis kuhifadhi (cache) maswali yanayojirudia.

Matokeo: Muda wa kusubiri (latency) ulibaki karibu na ms 350 kwa ujumbe mdogo. Ujumbe mkubwa ulisababisha ongezeko la hadi sekunde 1.2. Hii ilitulazimu kutumia kimitambuzi cha maneno muhimu (keyword classifier) kwa mzigo mkubwa wa kazi. Gharama zilikuwa kubwa. Tulitumia $2,000 kwa mwezi kwenye chaneli moja ya msaada.

Hatari: Modeli hufanya makosa. Inapoteza muktadha katika mazungumzo marefu. Inaweza kutoa ukweli wa uongo kwa ujasiri mkubwa. Hali hii huitwa hallucination.

Jinsi nilivyorekebisha: Niliongeza hatua ya uhakiki kwa kutumia Pinecone vector store.

  • Modeli inazalisha jibu.
  • Tunalinganisha jibu hilo na msingi wa maarifa uliopangwa (curated knowledge base).
  • Ikiwa alama ya ufanani (similarity score) ni chini ya 0.78, binadamu huikagua. Chujio hili lilinasua 42% ya kauli za uongo. Iliongeza ms 120 kwenye muda wa jibu.

Ufuatiliaji ni muhimu: Nilitumia Prometheus na Grafana kufuatilia viwango vya makosa na matumizi ya tokeni. Niliweka tahadhari za PagerDuty ili zianze kufanya kazi ikiwa hallucination itazidi 5% ya trafiki. Hii ilituruhusu kurekebisha kiolezo kibaya cha prompt kabla hakijaleta madhara zaidi.

Hitimisho: GPT-4 si uchawi. Ni chombo cha kukusaidia kufanya kazi kwa haraka zaidi. Itumie kwa ajili ya uandishi wa kodi (coding), kufupisha, na kuandika. Usiamini ukweli muhimu bila kuyahakiki mwenyewe.

Chanzo: https://dev.to/lavkeshdwivedi/chatgpt-4-3hi6

Jumuiya ya kujifunza ya hiari: https://t.me/GyaanSetuAi