Niliweka AI Agent mbele ya Tiketi za Huduma za Miaka 20
Tuna mfumo wa helpdesk wenye tiketi milioni moja. Tuna miongozo (manuals) 2,400 na misingi miwili mikubwa ya kodi (codebases).
Mwakati mwanatengenezaji (developer) anapouliza ikiwa tulishawahi kutatua tatizo fulani, jibu huwa ni ndiyo. Data tu imefichika. Wafanyakazi waandamizi hupoteza saa nyingi kutafuta. Wafanyakazi wapya hupoteza wiki kadhaa.
Nilijenga AI agent ili iwe mbele ya data hizi zote. Sasa ipo kwenye uzalishaji (production). Hivi ndivyo vilivyotokea hasa.
Data haikuwa sehemu ngumu. Kujua wapi pa kutafuta ndiko kulikuwa kugumu. Kumfanya agent aache kubuni mambo kulikuwa kugumu zaidi.
Jinsi inavyofanya kazi:
- Agent mmoja wenye uingizaji wa lugha ya asili (natural language input).
- Inasoma kanzi data (database) ya helpdesk, zana za miradi, GitLab, na SVN.
- Inafanya utafutaji wa vector (vector searches) kwenye miongozo na tiketi za zamani.
- Inaweza kutengeneza faili kama .xlsx au .docx.
- Inachagua zana zake zenyewe na kuzitumia kwa wakati mmoja (in parallel).
Muundo (architecture) ni rahisi. Inafanya kazi kwenye Node container tofauti na programu kuu. Nilifanya hivi ili kutenga hitilafu (failure isolation). Ikiwa AI itafeli, helpdesk itaendelea kufanya kazi.
Somo kubwa lilikuwa kuhusu prompt. Nilianza na ukuta mmoja mkubwa wa maandishi. Ulikuwa na tokeni 40,000. Ilikuwa vigumu kuitunza na agent alipoteza umakini.
Nilibadilisha mbinu yangu. Niligawanya prompt katika faili ndogo za ujuzi (skill files).
- Utafutaji wa tiketi ni faili moja.
- Historia ya kodi ni nyingine.
- Usimamizi wa mradi ni ya tatu.
Prompt kuu inafanya kazi kama router. Inapakia ujuzi tu inapouhitaji. Hii ilipunguza tokeni zetu kutoka 40,000 hadi 8,000 kwa kila ombi (request). Agent anabaki kwenye kazi na kodi ni rahisi kuifanyia marekebisho.
Pia niliongeza wasifu wa watumiaji (user profiles). Mwanatengenezaji anapata njia za kodi (code paths). Meneja wa mradi anapata muhtasari wa hali (status summaries). Agent anajua nani anauliza bila kuambiwa.
Sio kamili. Tulikumbana na hitilafu halisi:
- Hallucinations (Kubuni mambo): Agent alibuni URL za uongo. Suluhisho: Weka mifumo mahususi (pin exact patterns) au lazimisha utafutaji (lookup).
- Kupoteza kumbukumbu: Agent alisahau sheria katika mazungumzo marefu. Suluhisho: Ingiza orodha ya mambo ya kufanya (to-do list) iliyopangwa katika kila hatua.
- Mizunguko isiyo na mwisho (Infinite loops): Agent alifanya mialiko mingi sana ya zana (tool calls). Suluhisho: Weka bajeti kali kwa kila ombi.
- Usalama: Watumiaji walijaribu kumdanganya. Suluhisho: Usitegemee prompt kwa ajili ya usalama. Tumia sifa za kuingia kwenye kanzi data za kusoma tu (read-only database credentials) katika miundombinu yako.
Kazi halisi ni mzunguko wa kila wiki. Ninasoma logi (logs). Ninatoa alama kwa vikao (sessions). Ninarekebisha ujuzi. Ninahuisha wasifu.
Ukiruka mzunguko huu, unakuwa na demo tu. Ukifanya, unakuwa na bidhaa (product).
Lengo si majibu ya haraka tu. Lengo ni kuhifadhi maarifa ya taasisi ndani ya shirika. Mtu anapoondoka, maarifa yake yanabaki kwenye nakala za mazungumzo (transcripts).
Muhtasari kwa ajili ya ujenzi wako:
- Anza na RAG juu ya historia yako mwenyewe.
- Tumia faili za ujuzi zinazopakia kwa ucheleweshaji (lazy-loaded skill files) badala ya prompt moja kubwa.
- Tumia wasifu wa watumiaji kwa muktadha wa kibinafsi.
- Tenga AI katika container yake yenyewe.
- Simamia usalama kupitia miundombinu, si maelekezo.
- Soma logi zako kila wiki.
Jumuiya ya kujifunza ya hiari: https://t.me/GyaanSetuAi