𝗬𝗼𝘂𝗿 𝗟𝗟𝗠 𝗜𝗹𝗶𝗸𝘂𝘄𝗮 𝗦𝗮𝗵𝗶𝗵𝗶, 𝗟𝗮𝗸𝗶𝗻𝗶 𝗝𝗲, 𝗜𝗹𝗶𝗸𝘂𝘄𝗮 𝗦𝗮𝗵𝗶𝗵𝗶 Kwa 𝗦𝗮𝗯𝗮𝗯𝘂 𝗦𝗮𝗵𝗶𝗵𝗶?

Nilijenga kipimo (benchmark) ili kuona kama LLM inaweza kutafsiri mabadiliko ya kijenetiki ya kliniki (clinical genetic variants).

Matokeo ya awali yalionekana kuwa mabaya. Modeli ilipata usahihi wa asilimia 60. Karibu nikahitimisha kuwa modeli hiyo ilikuwa ya wastani na haifai kutumika.

Nilikuwa nimekosea.

Ufahamu wa kweli ulitokea tu nilipoacha kupima usahihi na kuanza kupima usalama.

Katika jenetiki ya kliniki, jibu lisilo sahihi linaweza kuwa hatari. Kuna aina mbili za makosa:

  • Kujizuia kwa usalama (Safe abstention): Modeli inasema "haina uhakika" wakati ukweli ni jibu la uhakika. Hii ni salama kwa sababu binadamu atachunguza.
  • Kosa la uhakika (Confident error): Modeli inatoa jibu kinyume (kwa mfano, kuita mabadiliko yanayosababisha ugonjwa kuwa "benign"). Hili ni kushindwa kwa hatari.

Kipimo changu kilionyesha kuwa modeli hiyo haikuwa na makosa yoyote ya uhakika. Haikufanya kosa lolote la hatari. Ilichagua tu kukaa kimya ilipokuwa haina ushahidi wa kutosha.

Nilipotumia kipimo rahisi cha usahihi, nilitaja modeli salama na iliyopimwa vizuri kama imefeli. Kipimo changu ndicho kilikuwa tatizo, si modeli.

Ikiwa unajenga vipimo kwa ajili ya nyanja zenye hatari kubwa kama vile tiba, sheria, au fedha, fuata sheria hizi:

  • Tenganisha kushindwa kwa usalama kutoka kwa kule kushindwa kwa hatari. Usiweke kamwe "Sijui" ya uaminifu katika kundi moja na uongo wa uhakika.
  • Kagua mantiki. Usahihi pekee hauonyeshi ikiwa modeli inatunga ushahidi au inafuata mantiki.
  • Weka ushahidi wako uwe halisi. Usiingize data za uongo kwenye majaribio yako. Ikiwa tathmini yako inatumia data za uongo, huwezi kupima ikiwa modeli inatunga mambo (hallucinates).
  • Rekebisha uchambuzi wako mwenyewe. Sampuli ndogo zinaweza kudanganya. Usichapishwe matokeo kabla ya kuyathibitisha kwa data kubwa zaidi.

Katika nyanja zenye hatari kubwa, modeli inayojua wakati wa kuacha ina thamani zaidi kuliko modeli inayokisia.

Kanuni (code) ipo kwenye GitHub: gbadedata/clinvar-interpretation-benchmark.

Makala kamili: https://dev.to/gbadedata/your-llm-got-the-variant-right-but-did-it-get-it-right-for-the-right-reason-1oc3

Jumuiya ya kujifunza ya hiari: https://t.me/GyaanSetuAi