𝗪𝗵𝘆 𝗬𝗼𝘂𝗿 𝗥𝗔𝗚 𝗦𝘆𝘀𝘁𝗲𝗺 𝗛𝗮𝗹𝗹𝘂𝗰𝗶𝗻𝗮𝘁𝗲𝘀
Mfumo wako wa RAG una usahihi wa upataji (retrieval accuracy) wa 34%. Ulifuata kila mafunzo (tutorial). Ulitumia maktaba (libraries) sahihi. Ulichagua ukubwa wa kipande (chunk size) kutoka kwenye chapisho la blogu. Hata hivyo, mfumo bado unashindwa.
Hili si tatizo la zana (tooling). Hili ni tatizo la misingi (fundamentals).
Unapojilundikia maktaba bila kuelewa tabaka zilizopo chini yake, unaunda deni la uabstraktio (abstraction debt). Unapata kasi lakini unapoteza uwezo wa kutatua hitilafu (debug). Unajenga kisanduku kisichojulikana (black box).
Ili kurekebisha mtiririko wako wa RAG (RAG pipeline), lazima uimudu mambo matatu:
Mkakati wa Chunking Ukubwa wa kipande (chunk size) ni uamuzi wa kimaana (semantic). Ikiwa vipande vyako ni token 512, unapata aya. Ikiwa maswali yako yanahitaji kuunganisha mawazo katika aya nyingi, vipande vyako ni vidogo mno. Lazima uamue ni kiasi gani cha muktadha (context) kinapaswa kupita kati ya vipande.
Mifano ya Embedding Dense embeddings hunasa maana lakini hupoteza muundo sahihi wa kisintaksia (syntax). Mfano unaweza kuchukulia "error 403" na "error 404" kama kitu kimoja karibu. Lazima ujue mfano wako unachonasa. Mkataba wa kisheria unahitaji embeddings tofauti na sehemu ya kuhifadhia kodi (code repository).
Retrieval dhidi ya Recall Utafutaji wa vector (vector search) unapata kila kitu kinachoweza kuwa muhimu. Hii ni recall. RAG ya uzalishaji (production) inahitaji usahihi (precision). Unahitaji jibu sahihi, si aya kumi zinazofanana. Hii ndiyo sababu unahitaji utafutaji mseto (hybrid search).
Utafutaji mseto (hybrid search) unachanganya dense vectors na ulinganishaji wa maneno muhimu (keyword matching - BM25).
- Utafutaji wa kimaana (semantic search) pekee unakosa nambari au ID sahihi.
- Utafutaji wa maneno muhimu (keyword search) pekee unakosa maana ya kifikra.
- Utafutaji mseto (hybrid search) unatoa uzito kwa vyote viwili ili kupata ukweli.
Uzito sahihi haupo kwenye mwongozo. Unaupata kwa kujaribu data yako mahususi.
Acha kutegemea uchawi. Ikiwa huwezi kujenga mtiririko wa msingi wa RAG kuanzia mwanzo, bado hauko tayari kwa Agentic RAG. Ugumu huongezeka unapokuwa huelewi misingi.
Fanya mambo haya manne kabla ya mradi wako ujao:
- Fanya ulinganishi (benchmark) wa chunking. Jaribu ukubwa tatu tofauti. Pima usahihi (precision) katika top-1 na top-5.
- Jaribu embeddings kwa kutumia data halisi. Usitumie majaribio ya bandia (synthetic tests). Tumia maswali halisi ya watumiaji wako.
- Rekodi makosa (log failures). Kwa wiki mbili, rekodi kila swali linaloshindwa. Angalia mifumo katika kile ambacho utafutaji wako unakosa.
- Tekeleza BM25 mara moja. Hata kama utatumia maktaba baadaye, unahitaji kuelewa msingi wa maneno muhimu (keyword baseline).
Maktaba hukupa muda. Uelewa hukupa uaminifu (reliability).
Jumuiya ya kujifunzia ya hiari: https://t.me/GyaanSetuAi