Hakuna Agent Anayesahihisha Kazi Yake Mwenyewe

Unamwomba Claude akague kodi yako. Anasema kodi hiyo inaonekana safi. Bila shaka itasema hivyo. Aliandika kodi hiyo dakika tano zilizopita. Ulimwomba mwandishi atoe alama kwenye kazi yake mwenyewe. Alijipa alama ya A.

Ukaguzi wa kodi wa AI unafanya kazi. Unafeli unapomwomba mwandishi akague kazi yake mwenyewe. Ubora hutokana na usanifu ambapo hakuna nafasi inayojikagua yenyewe.

Utafiti wa mwaka 2024 unaonyesha upendeleo wa kujipendelea (self-preference bias). Modeli hupatia matokeo yake yenyewe alama ya juu kuliko matokeo mengine yenye ubora sawa. Modeli inatambua mtindo wake wenyewe na kuupendelea.

Mzunguko wa "andika, kisha kagua kile ulichoandika hivi punde" umeharibika. Hupati ukaguzi. Unapata utetezi. Agent tayari ameamua kuwa kodi hiyo ni nzuri. Kuuliza tena kunathibitisha tu uamuzi huo.

Fuata sheria hizi ili kujenga mifumo bora ya kazi ya agent (agent workflows):

  • Mkaguzi kamwe asiwe mwandishi. Tumia familia tofauti ya modeli kwa mkaguzi ili kuvunja utambuzi wa mtindo.
  • Tumia muktadha safi. Mkaguzi hapaswi kuona maelekezo ya awali ya utekelezaji (implementation prompt) au vizuizi vilivyowekwa na mwandishi.
  • Ondoa utambulisho. Usimwambie mkaguzi nani aliyeandika kodi. Utambulisho wa mwandishi huchochea upendeleo.
  • Epuka kuweka alama nyingi kupita kiasi. Wakaguzi wa AI mara nyingi hutunga matatizo ili kuonekana wenye manufaa. Hii inakufanya uache kuwasikiliza.

Tumia sheria ya risiti (receipt rule) ili kuzuia tahadhari za uongo. Kila ugunduzi lazima ujumuishe ushahidi kabla hujaiona.

Ikiwa mkaguzi anadai hatari ya SQL injection, lazima atoe:

  • Grep ya ingizo la mtumiaji (user input).
  • Ufuatiliaji (trace) wa mtiririko wa swali (query flow).

Ikiwa thamani ni kigezo tuli (constant), acha ugunduzi huo. Ikiwa inatoka kwenye ombi la HTTP, uweke. Ushahidi unakuja kabla ya hukumu.

Kwa ugunduzi muhimu, tumia jopo la wenye mashaka (skeptics). Kazi yao si kuthibitisha hitilafu (bug). Kazi yao ni kuipinga. Lazima wajaribu kuthibitisha kwa nini ugunduzi huo si hitilafu. Ikiwa wengi hawawezi kuupinga ugunduzi huo, hapo ndipo unapopita.

Ukweli hutokana na upinzani, si utangazaji wa nafsi.

Jenga mfumo ambapo majukumu hayajirudii:

  • Mwandishi huandika kodi.
  • Mtesaji (tester) huandika majaribio kutokana na maelezo ya kiufundi (spec) pekee.
  • Mkaguzi hakuandika kodi hiyo.
  • Milango ya lengo kama linting na majaribio lazima ipitwe kabla ya binadamu au LLM kuiona.

Mrekebishaji anayejirekebisha harekebishi kitu chochote. Ubora wa ukaguzi wa AI unategemea ni mara ngapi unamzuia kujipa alama mwenyewe.

Source: https://dev.to/ohugonnot/no-agent-grades-its-own-homework-8lb

Optional learning community: https://t.me/GyaanSetuAi