Kwa nini jaribio hili ni muhimu

Misaidizi ya kodi inayojiendesha kwa AI mara nyingi huacha timu ziweke faili la "sheria" (rules) kwenye repo na kutarajia kuwa modeli itafuata maelekezo yake katika kila ombi. Kiuhalisia, modeli inaweza isiwahi kuona faili hilo, au inaweza kuliona lakini ikapuuza maudhui yake. Jaribio la hivi karibuni na Claude Code lilionyesha matatizo yote mawili. Chombo hicho kilipuuza kimyakimya faili la AGENTS.md la 72 KB; faili lile lile lilipobadilishwa jina kuwa CLAUDE.md, msaidizi alilipakia na kuongeza idadi ya token kwa kila ombi. Bajeti hiyo ya ziada ya token huongeza ucheleweshaji (latency), gharama, na inaweza kusukuma ombi kupita kikomo cha modeli.

Watengenezaji wanaodhani kuwa "faili lipo" ni sawa na "modeli inafuata sheria" wanahatarisha kutokea kwa ufanisi mdogo usioonekana na matokeo yasiyotabirika. Jaribio la hatua tatu linataka ushahidi thabiti katika kila hatua: usanidi (configuration), upakiaji (loading), na manufaa (usefulness).

Maswali matatu ya kuuliza

  1. Usanidi (Configured) – Je, faili limewekwa pale msaidizi anapolifanyia utafutaji? Zana tofauti huweka njia (paths) au kanuni za majina ya faili moja kwa moja; kutolingana kunamaanisha faili hilo halitaingia kamwe kwenye mchakato wa prompt.
  2. Upakiaji (Loaded) – Je, msaidizi anatoa ushahidi wowote kwamba amepokea faili hilo? Hash inaweza kuthibitisha utambulisho wa faili kwenye diski, lakini ni kumbukumbu ya utoaji (kama vile mstari wa log au idadi ya token) pekee inayothibitisha kuwa modeli imeuliona kweli.
  3. Manufaa (Useful) – Je, uwepo wa faili hilo unaboresha matokeo ya kazi? Faili lililopakia ambalo linaongeza token lakini linaacha matokeo bila mabadiliko ni hasara tupu.

Kufanya jaribio

Utaratibu huu umewekwa kwa ufupi ili uweze kurudiwa kwenye jukwaa lolote.

  1. Tengeneza sheria inayoonekana – Andika maelekezo rahisi yanayoweza kuonekana. Kwa mfano: “Orodhesha faili mbili pekee kabla ya kuhariri.” Athari ya sheria hiyo inaweza kuangaliwa katika jibu la msaidizi.

  2. Angalia toleo la chombo na modeli – Fungua kikao kipya, kumbuka mfululizo wa toleo (version string) na utambulisho wa modeli. Matoleo tofauti yanaweza kubadilisha jina la faili ambalo yanatambua.

  3. Tekeleza mzunguko mbili Mzunguko A: Tumia jina la faili ambalo chombo hakitambui (k.m., AGENTS.md). Mzunguko B: Tumia jina la asili la faili la chombo hicho (k.m., CLAUDE.md).

    Rekodi:

    • Hash ya chanzo ya faili (ili kuthibitisha kuwa maudhui kwenye diski hayakubadilika).
    • Njia (path) kamili iliyotumika.
    • Ushahidi wowote ambao msaidizi aliurekodi kuhusu kupakia faili (ongezeko la idadi ya token, ujumbe wa wazi wa “loaded X.md”, n.k.).
    • Idadi ya token kwa kila ombi.
    • Matokeo ya kazi (je, msaidizi aliorodhesha faili mbili pekee?).

Ikiwa Mzunguko B unaonyesha kuwa sheria inafuatwa na idadi ya token inaongezeka kwa kiasi kinachotarajiwa, faili limepakia na ni la manufaa. Ikiwa sheria inapuuzwa licha ya ongezeko la token, faili linasomwa lakini uchambuzi wa prompt wa modeli unaitupa maelekezo hayo. Katika hali hiyo, kuongeza maandishi zaidi kwenye faili hakutasaidia; badala yake, hamisha sheria hiyo kwenye mlango wa sera (policy gate) uliowekwa moja kwa moja au kwenye kifaa cha majaribio (test harness).

Data zinachofichua

Kisa cha Claude Code kilionyesha pengo kubwa kati ya usanidi na upakiaji. Faili la 72 KB lilikuwepo, lilikuwa na hash sahihi, na lilikuwa limesawazishwa (synced) kwenye repo, lakini msaidizi hakuwahi kulirejelea. Kubadilisha jina la faili kuwa CLAUDE.md asilia kulichochea upakiaji, lakini pia kuliongeza mzigo mkubwa wa token. Kila token ya ziada hutumia mizunguko ya kompyuta (compute cycles) na inaweza kusukuma ombi kupita mipaka ya kasi (rate limits).

Jaribio la hatua tatu huibua gharama hizo zilizofichika kabla hazijawa vikwazo vya uzalishaji (production blockers). Kwa kunasa tofauti ya token (token delta), timu zinaweza kuamua ikiwa manufaa ya sheria hiyo ni makubwa kuliko gharama yake.

Hitimisho

Usiwahi kudhani kuwa faili la sheria linafanya kazi kwa sababu tu lipo kwenye repo. Tumia jaribio la hatua tatu—usanidi, pakia, thibitisha manufaa—ili kugeuza dhana hiyo kuwa ushahidi unaopimika. Ushahidi unaponyesha kuwa faili ni chombo cha kupoteza token tu, hamisha mantiki hiyo kutoka kwenye prompt na uipeleke kwenye mlango wa uhakika (deterministic gate). Matokeo yake ni mtiririko wa kazi wa kodi wa AI ulio bora, wa haraka zaidi, na unaotabirika zaidi.