Acha kuendesha vipimo vipya vya modeli (benchmarks) na anza kuangalia wakala (agent) wako akijaribu kusitisha usajili. Pengo kati ya shughuli hizo mbili ndipo mifumo ya uzalishaji (production systems) inapokufa. Jaribio la hatua moja (single-turn test) linaweza kukuambia ikiwa jibu lina sauti nzuri. Haliwezi kukuambia ikiwa wakala amemrudishia mteja asiyestahili pesa, amezunguka mara kumi na nne kwenye API ya kalenda, au ameamua kuruka ukaguzi wa udanganyifu kabisa. Maandishi ndiyo kitu kisicho na hatari zaidi ambacho wakala huzalisha. Hatari halisi hujificha katika zana anazogusa, data anazobadilisha, na nyakati ambazo alipaswa kuomba msaada lakini akaendelea tu.
Kwa Nini Vipimo vya Maandishi Vinashindwa Katika Uzalishaji
Alama za juu kwenye vipimo vya kawaida zimekuwa aina ya faraja inayopotosha. Wakala anayeandika maandishi mazuri anaweza bado kuwa hatari ya kiutendaji. Wakati mfumo wako unapanga miadi, unahariri rekodi za hifadhidata, au kuwasilisha tiketi za msaada, maandishi yanayozalishwa ni sehemu tu inayoonekana ya mtiririko wa kazi (workflow). Chini ya hayo, wakala anafanya maamuzi madhubuti kuhusu ni endpoint gani itumike, ni payload gani itumwe, na ni lini aache. Anaweza kuwa kiongozi kwenye orodha ya uelewa wa kusoma huku akikugharimu pesa kwa kuweka miadi mbili kwenye rasilimali moja, kubadilisha safu (row) isiyo sahihi, au kuvuja taarifa nyeti kwenye faili ya kumbukumbu (log file). Unahitaji kuhakiki mbinu za kazi, si tu urembo wa matokeo. Ikiwa wakala anaweza kupata alama nzuri kwenye jaribio la QA la nje ya mtandao lakini bado akashindwa mtiririko wako wa kazi kwa kuzunguka mzunguko (looping) au kutumia vibaya zana, tathmini yako inatazama ishara zisizo sahihi.
Kuchora Ramani ya Utegemezi Tano
Timu ya Van Data Team huanza kila tathmini kwa kuchora ramani ya vituo vitano maalum vya udhibiti. Hii inabadilisha swali kabisa. Unaacha kuuliza ikiwa modeli moja ni janja kuliko nyingine. Unaanza kuuliza ikiwa wakala anaweza kumaliza kazi ya uzalishaji chini ya vikwazo vyako halisi.
Matokeo ya biashara. Bainisha maana ya "imekamilika" kwa dola na athari kwa mteja. Kazi haijakamilika kwa sababu tu wakala ametoa muhtasari. Imekamilika wakati rekodi ya bidhaa ni sahihi, miadi imethibitishwa, na mteja amepokea nambari halali ya ufuatiliaji.
Hali inayoweza kubadilika (Mutable state). Jua sawia nini wakala anaruhusiwa kubadilisha. Ni majedwali gani, ni hali (statuses) gani, ni alama za akaunti zipi? Ikiwa wakala anaweza kutoa marejesho, kupanga upya kazi, au kusasisha anwani za malipo, unahitaji kuorodhesha kila uwanja (field) anaugusa.
Ruhusa za zana. Kuwa wazi kuhusu ni API endpoints na kazi (functions) zipi zilizo ndani ya upeo. Wakala mwenye ufikiaji wa zana ya utafutaji, zana ya kuandika, na zana ya arifa atazichanganya ikiwa mipaka haijajulikana vizuri. Linganisha kila ruhusa na hitaji mahususi la kiutendaji.
Urejeshaji wa hitilafu. Amua nini kitatokea wakati API ya kalenda inapochelewa (timeout), inaporudisha hitilafu ya 500, au inatoa JSON isiyo sahihi. Wakala hapaswi kupata hofu, kutunga ujumbe wa mafanikio (hallucinate), au kujaribu tena milele. Anahitaji njia mbadala iliyo wazi.
Vizingiti vya mapitio ya binadamu. Tambua nyakati ambazo mtu lazima athibitishe kabla ya wakala kuendelea. Hii si ishara ya udhaifu katika uendeshaji wa kiotomatiki. Ni vali ya usalama kwa mabadiliko yenye athari kubwa na chanzo cha lebo za ukweli (ground-truth labels) kwa ajili ya vigezo vyako (rubrics).
Jinsi Mpango Halisi wa Tathmini Unavyoonekana
Mara tu utegemezi unapochorwa ramani, unahitaji mpango wa tathmini unaoendana na vurugu za uzalishaji. Vipimo vya slaidi (slide-deck metrics) havitakusaidia hapa.
Tengeneza seti za majaribio kutoka kwa hitilafu halisi za uzalishaji, si kutoka kwenye benki za maswali za kutengenezwa. Ikiwa wakala wako alishindwa Jumanne iliyopita kwa kuchanganya SKU mbili zinazofanana, kuchanganywa huko huko kunapaswa kuwa kesi ya jaribio ya kudumu. Seti yako ya tathmini inapaswa kukua kila wakati tukio linapokufundisha kitu kipya.
Andika vigezo (rubrics) vinavyofafanua ukamilishaji wenye mafanikio kwa maneno ya kiutendaji. Vigezo visivyo wazi kama "mwenye msaada" au "sahihi" havina faida. Kigezo chenye manufaa kinasema kuwa kazi ya marejesho inafanikiwa tu ikiwa ID ya malipo ya awali ilirejelewa, kiasi kililingana na ombi, barua pepe ya uthibitisho ilipangwa, na ID ya muamala iliandikwa.
Bainisha maelezo ya ufuatiliaji (trace specs) kwa ajili ya wito wa zana na majaribio ya marudio. Unahitaji uwezo wa kuona kile ambacho wakala alipanga, kile alichokiita hasa, ni mara ngapi alijaribu tena, na ikiwa mkakati wa majaribio ulikuwa sahihi. Ufuatiliaji (trace) bila undani wa kiwango cha zana ni hadithi nzuri tu.
Weka sera za lini wa kumjulisha binadamu. Wakala anapaswa kujua mipaka yake mwenyewe. Ikiwa ombi linazidi kiwango cha dola, linarejelea akaunti ya VIP, au linakutana na hali ambayo haijawahi kuiona hapo awali, anapaswa kupeleka suala hilo juu badala ya kukisia.
Weka vizingiti vya toleo (release gates) ili kuzuia uimarishaji mbaya wa modeli. Modeli mpya ni uimarishaji tu ikiwa inaboresha matokeo yako mahususi. Ikiwa inaleta upotofu (hallucinate) wa mizani ya zana (tool arguments) mara kwa mara zaidi, inaongeza ucheleweshaji (latency), au inaleta hatari mpya za usalama, haitolewi. Kizingiti hicho kinaweka mchakato wa uzalishaji (production) ukiwa thabiti hata wakati muuzaji wa modeli ya msingi anapotuma toleo jipya.
Tathmini ya Wakati wa Utendaji (Runtime Grading): Kuangalia Wakala Anapofanya Kazi
Anthropic imekuwa ikihimiza sekta hii kuendelea mbali zaidi na majaribio ya nje ya mtandao (offline tests) kuelekea tathmini ya wakati wa utendaji (runtime grading). Badala ya kuhukumu nakala ya mazungumzo baada ya tukio kupita, tathmini ya wakati wa utendaji inaruhusu mfumo kuhukumu kazi ya wakala (agent) wakati kazi hiyo bado inaendelea. Hii inatengeneza nafasi ya kukamata makosa kabla hayajajikita na kuwa matatizo halisi.
Kuongeza mhakiki (grader) kunagharimu tokeni na huongeza ucheleweshaji (latency). Huwezi kumudu kuhukumu kila hatua ndogo. Mahali pa kila mhakiki ni uamuzi wa usanifu. Yaweke pale ambapo makosa yanakuwa na gharama kubwa. Vituo vya ukaguzi vya thamani zaidi vipo kabla tu ya kuhifadhi mabadiliko ya hali kwenye kanzi data (database), kabla tu ya kukusanya malipo, na kabla tu ya kumtumia mteja ujumbe. Hizi ndizo nyakati ambapo uamuzi mbaya unakuwa kitendo kisichoweza kurekebishwa.
Tahadhari kuhusu upande mmoja ambao hauna uwezo wa kuona (blind spot). Ikiwa modeli ileile inafanya kazi na pia inahukumu kazi hiyo, inaweza kukosa makosa yaleyale. Mantiki iliyozalisha kosa inaweza kurahisisha na kupuuza kosa hilo wakati wa mapitio. Kwa kazi zenye athari kubwa, weka mapitio ya kibinadamu (human review) ndani ya mchakato. Ruhusu watu wathibitishe hukumu yenyewe ya mhakiki, hasa wakati pesa au imani ya mteja iko hatarini.
Lengo hapa ni udhibiti wa kiutendaji. Unganisha data zako za matukio, vigezo vyako vya kazi (task rubrics), na nyayo zako za wakati wa utendaji (runtime traces) katika mzunguko mmoja wa mrejesho. Tathmini njia nzima: mpango, matumizi ya zana, tabia ya kurejesha hali, na matokeo ya mwisho. Tumia majaribio ya nje ya mtandao (offline tests) kukamata makosa yanayojulikana na yanayoweza kujirudia kabla ya toleo. Tumia nyayo za wakati wa utendaji (runtime traces) kupata hitilafu mpya ambazo hukuwa umezipata. Tumia mapitio ya kibinadamu kugundua mahali ambapo vigezo vyako ni dhaifu na vinahitaji kuimarishwa.
Kwa hivyo jiulize: ungepata wapi mhakiki wa wakati wa utendaji (runtime grader) katika mtiririko wako wa kazi? Kabla ya wito wa zana (tool call), baada ya wito wa zana, au tu kabla ya mabadiliko yenye hatari? Timu nyingi huanza kwa upana sana, wakihukumu kila kitu, na kisha kukwama kutokana na gharama. Anza kwa kubana. Chagua kitendo kimoja ambacho kingeleta madhara makubwa kikikosewa. Weka mhakiki hapo kwanza.
Anza na Kosa Moja Lenye Gharama Kubwa
Tathmini ya kiutendaji si zoezi la utafiti. Ni njia ya kulala vizuri zaidi mara baada ya wakala kuanza kufanya kazi. Huhitaji mfumo kamili siku ya kwanza. Unahitaji mtiririko mmoja wa kazi uliowaziwa vizuri, kigezo kilichoandikwa kwa lugha rahisi ya kibiashara, na mhakiki aliyewekwa wakati ule ule ambapo kosa linakuwa na gharama kubwa. Fanya hivyo kwa usahihi, na utakuwa na msingi ambao unaweza kuutegemea kweli.
Ikiwa unataka kuchimbua zaidi kuhusu tathmini ya wakala na tathmini ya wakati wa utendaji (runtime grading) pamoja na jumuiya ya wataalamu, unaweza kupata jumuiya ya kujifunza ya GyaanSetu katika https://t.me/GyaanSetuAi.