Agentic retrieval inatangazwa kama hatua inayofuata baada ya mifumo ya kawaida ya uundaji unaosaidiwa na utafutaji (RAG), ikiahidi mifumo ya AI ya uzalishaji (production) ambayo itaacha kuleta majibu ya uongo (hallucinating) na kuanza “kufikiria” jinsi ya kupata habari. Wanaounga mkono njia hii wanasema kuwa mbinu hii inaweza kupunguza gharama ya kujibu swali kwenye mkusanyiko mkubwa wa nyaraka kwa hadi mara 82 ikilinganishwa na kuingiza mkusanyiko mzima (corpus) kwenye dirisha la muktadha (context window) la modeli, akiba ambayo ni muhimu kwa biashara yoyote inayopanua matumizi ya AI ya uundaji (generative AI).

Kwa nini mfumo wa zamani wa RAG unashindwa

Mtiririko wa kawaida wa RAG ni mfuatano uliowekwa: kugawa nyaraka katika vipande (chunks), kuweka kila kipande katika nafasi ya vekta (dense vector space), kisha kuchukua vekta zenye alama za juu zaidi kwa ajili ya swali la mtumiaji. Katika maonyesho (demos), mbinu hii inaonekana nadhifu—modeli inapokea machapisho machache "husika" na kujibu kwa ujasiri. Hata hivyo, katika uzalishaji (production), ujasiri huo mara nyingi si wa kweli.

Mapungufu matatu ya kimfumo yanasababisha tatizo hili:

  • Usawa wa vekta (Vector similarity) ≠ uhusiano (relevance). Vipande viwili vinaweza kuwa karibu kihisabati huku vikielezea ukweli tofauti, jambo linalopelekea modeli kutaja dai lisilo sahihi.
  • Mgawanyiko unaharibu ukweli. Uvunjaji wa vipande (chunking) wa kawaida unakata kauli moja katikati. Ikiwa modeli itapokea nusu moja tu, haiwezi kuunda upya sehemu iliyokosekana.
  • Maswali yasiyoeleweka. Maswali ya ulimwengu halisi yanatofautiana na data ya mafunzo ya modeli nyingi za embedding, hivyo utafutaji wa usawa unarudisha vipande visivyohusiana.

Wakati mfumo unaporudisha muktadha usio sahihi, modeli ya lugha inayofuata bado inatoa jibu, mara nyingi kwa uhakika mkubwa, na mfumo hautoi kosa (error). Matokeo yake ni hallucination ya kimya—kushindwa kwa kimya ambako ni vigumu kugundulika katika huduma inayofanya kazi (live service).

Utafutaji mseto (Hybrid retrieval): suluhisho la hatua kwa hatua

Jibu la kawaida ni kuongeza utafutaji wa maneno muhimu (keyword search) juu ya vekta nzito, na kutengeneza mtafutaji mseto (hybrid retriever) ambaye anaweza kunasa mlinganisho kamili wa manemi uliopitiwa na embedding. Kuongeza mpangaji upya (reranker)—modeli ya pili inayopanga upya orodha iliyopatikana kulingana na alama ya uhusiano iliyojifunza—huongeza usahihi zaidi.

Utafutaji mseto bado unafuata mpango tuli: kila swali huchochea mfululizo uleule wa hatua, bila kujali ugumu au kutokuwa na uhakika. Mfumo hauwezi kuamua ikiwa unahitaji data zaidi, jinsi ya kuvunja swali tata katika maswali madogo, au wakati kipande kilichopatikana hakitoshi.

Agentic retrieval inachukulia utafutaji kama mchakato wa maamuzi

Agentic retrieval inatafsiri upya tatizo kama mfululizo wa maamuzi yanayofanywa na "wakala" (agent) anayejitambua ambaye anaiga mtafiti wa binadamu. Wakala anaweza:

  • Kuandika upya swali. Unarekebisha maneno ya mitaani au yenye utata kabla ya kutafuta, na kuongeza nafasi kwamba modeli za utafutaji zielewe nia.
  • Kuuliza ikiwa utafutaji unahitajika. Kwa maswali rahisi, wakala anajibu moja kwa moja, akipunguza matumizi ya tokeni na kuepuka kelele zisizo za lazima.
  • Kupanga utafutaji wa hatua nyingi. Maswali tata yanavunjwa katika maswali madogo, kila moja likitafutwa peke yake, kisha yakijumuishwa pamoja.
  • Kujirekebisha. Ikiwa matokeo ya awali yanaonekana dhaifu—kwa mfano, alama za ujasiri wa chini au ushahidi unaopingana—wakala anarudia swali kwa muundo tofauti au anapanua wigo wa utafutaji.

Hoja za gharama: muktadha mrefu dhidi ya utafutaji

Baadhi ya wachambuzi wanahoji kuwa madirisha ya muktadha (context windows) yanayozidi kuwa makubwa yanafanya utafutaji kuwa wa bure. Hoja kinyume ni ya kiutendaji: kuingiza mkusanyiko mkubwa wa data kwenye muktadha wa modeli kuna gharama kubwa zaidi kuliko utafutaji uliojikita. Makadirio yanaweka utafutaji kuwa nafuu mara 8 hadi 82 kwa seti kubwa za data, huku bado ukitoa msingi wa muktadha unaohitajika kwa majibu sahihi. Madirisha marefu ya muktadha yanabaki kuwa muhimu kwa ufikiri wa kina juu ya seti ndogo ya nyaraka zilizochujwa, lakini hayawezi kuchukua nafasi ya utafutaji unaoweza kupanuka (scalable search).

Uwazi na uhakiki

Msaidizi wa AI wa kiwango cha uzalishaji lazima aonyeshe vyanzo vyake. Agentic retrieval inaweza kuambatanisha nukuu kwa kila dai, ikimruhusu mkaguzi wa binadamu kuhakiki mkondo wa uhakiki wa ukweli. Mtindo huu wa "onyesha-kazi-yako" hujenga imani na kuibua njia dhaifu za utafutaji ambazo wakala anaweza kujifunza kuziepuka katika mwingiliano wa baadaye.

Nini cha kufuatilia baadaye

  • Zana (Tooling).
  • Viwango vya tathmini.
  • Miradi ya majaribio ya kampuni (Enterprise pilots).

Hitimisho

Agentic retrieval inavuka mifumo ya zamani ya RAG ambayo ni tuli na yenye makosa ambayo inatawala maonyesho mengi. Kwa kuruhusu mfumo wa AI uamue lini na jinsi ya kutafuta, unapunguza matumizi ya tokeni, unapunguza gharama kwa kiasi kikubwa, na—muhimu zaidi—unatoa vyanzo vinavyoweza kuhakikiwa kwa kila jibu.