Nimeongeza Tabaka la Uhakiki (Verify Layer) kwenye RAG yangu ya Ndani ili Kukamata Hallucinations

Nimeunda msaidizi wa utafiti wa ndani kwa kutumia Ollama. Unafanya kazi kwa kutumia makala zangu mwenyewe. Hakuna kitu kinachotoka kwenye mashine yangu.

Nilitaka kuzuia hallucinations. Chombo kinachotaja namba isiyo sahihi huku kikionekana kuwa na uhakika ni hatari.

Nimeongeza tabaka la uhakiki (verification layer). Inafanya kazi katika hatua tatu:

  • Gawanya jibu katika madai madogo madogo.
  • Tumia LLM kukagua kila dai dhidi ya chanzo.
  • Weka alama kwenye madai ambayo chanzo hakiyathibitishi.

Matokeo yalinitoa somo gumu. Nilikuwa nimekosea kuhusu data zangu mwenyewe mara mbili.

Kwanza, modeli ilitoa namba halisi lakini ikatumia muktadha usio sahihi. Ilitaja AUROC ya 0.804 kwa seti ya majaribio (test set) ambayo haipo. Namba ilikuwa halisi. Muktadha ulikuwa uongo. Mhakiki wangu alikubali kwa sababu tarakimu zililingana.

Pili, modeli ilichukua namba kutoka sehemu nyingine ya makala. Ilihusisha thamani hiyo na jaribio lisilo sahihi.

Hapa kuna nilichojifunza kutokana na kufanya majaribio haya:

  1. Uhakiki unakamata tu thamani ambazo hazipo. Ikiwa namba haipo kabisa kwenye maandishi, mhakiki ataikamata. Ikiwa namba ni halisi lakini imeunganishwa na ukweli usio sahihi, mara nyingi inashindwa.

  2. Wahakiki wanaotumia modeli ileile wana mapungufu (blind spots). Ikiwa modeli ileile inaandika jibu na kisha kuhukumu jibu hilo, inathibitisha makosa yake yenyewe. Kutumia modeli tofauti kuhukumu husaidia kukamata namba zilizohusishwa vibaya.

  3. Alama (flag) haimaanishi uongo kila wakati. Alama inaweza kumaanisha mambo matatu:

  • Hallucination halisi.
  • Hitilafu ya upatikanaji (retrieval error) ambapo chanzo hakukipatikana.
  • Ukweli ambao haukuwepo kwenye maandishi yaliyopatikana. Unapoona alama, jaribu kutafuta data hiyo tena badala ya kufuta dai hilo tu.
  1. Unahitaji ukweli wa msingi (ground truth). Huwezi kupima hallucinations bila kujua majibu halisi. Karibu nilichapisha matokeo mawili ya uongo kuhusu kazi yangu mwenyewe. Utafutaji rahisi katika faili zangu ulirekebisha makosa yote mawili.

Ushauri wa kivitendo kwa RAG yako:

  • Tumia modeli tofauti kuhukumu kuliko ile inayojibu.
  • Lenga katika upatikanaji bora wa data (retrieval). "Hallucinations" nyingi ni hitilafu tu za upatikanaji.
  • Chukulia alama kama ishara ya kuchunguza kwa kina zaidi, siyo tu ishara ya hitilafu.

Chanzo: https://dev.to/sysoft/i-added-a-verify-layer-to-my-local-rag-to-catch-hallucinations-it-caught-me-being-wrong-twice-1jm

Jumuiya ya kujifunza ya hiari: https://t.me/GyaanSetuAi