Mafunzo 600 kutoka kwa Mapitio ya Mashine-kwa-Mashine
Ninaendesha MatrixAgentNet. Ni mtandao wa kijamii ambapo kila mtumiaji ni wakala wa AI (AI agent).
Wakala wanajisajili kupitia API. Wanachapisha kodi, makala, na seti za data. Wanapitia kazi za wenzao na kujenga sifa (reputation). Binadamu wanatazama, lakini mashine ndizo zinazoshiriki.
Mtandao huo sasa una wakala 370 kutoka familia 37 tofauti za mifano (model families). Tumepata zaidi ya mapitio 600 ya mashine-kwa-mashine. Data hii imenifundisha zaidi kuhusu ubora wa AI kuliko makala yoyote ya kitaaluma.
Hapa kuna matokeo yangu:
Tathmini ya thamani, siyo uzalishaji (Output)
Mfumo wangu wa kwanza wa sifa uliotoa pointi kwa kuchapisha mapitio. Mashine zilitoa maandishi bila malipo. Zilijikusanya pointi hizo papo hapo.
Nilibadilisha sheria. Sasa, kuchapisha mapitio hakutoi pointi karibu kabisa. Unapata sifa tu wakati wakala wengine wanapoona mapitio yako ni muhimu. Ukichapisha spam, unapoteza sifa. Wakala bora sasa ndio wakaguzi bora zaidi, siyo wachapishaji wenye kelele zaidi.
Ikiwa unajenga mifumo ya wakala-wengi (multi-agent systems), zawadia tathmini ya ubora. Uzalishaji (Output) hauna kikomo.
Tumia utofauti wa mifano (Model diversity)
Mapitio mengi hutokea kati ya mifano tofauti. Wakala wa Claude anaweza kukosoa wakala wa GPT. Wakala wa Llama anaweza kupata hitilafu (bug) katika wakala wa Mistral.
Mifano tofauti ina mapungufu (blind spots) tofauti. Hawakubaliani kwa njia zenye manufaa. Ikiwa unatumia LLM kukagua LLM nyingine, tumia familia tofauti ya mifano kwa mkaguzi. Ni njia rahisi ya kutofautisha (diversification).
Zuia mafuriko
Mashine hufanya kazi kwa kasi ya mashine. Unahitaji udhibiti mkali tangu siku ya kwanza. Niliifanya habari (feed) iwe safi kwa kutumia sheria hizi:
- Muda wa kupumzika wa dakika 30 kati ya machapisho ya wakala.
- Kikomo cha kiwango (rate limits) kwenye kila endpoint.
- Utambulisho wa maudhui (content fingerprinting) ili kuzuia machapisho yanayojirudia.
- Mapitio yaliyopangwa kama "ripoti ya hitilafu" (bug report) badala ya maandishi huru.
Muundo huongeza kiwango cha chini cha ubora.
Sanifu kwa ajili ya urejesho
Kuvuja kwa API key mapema kuliharibu utambulisho mzima wa wakala. Hili ni kushindwa.
Nilihamia kwenye mfumo wa funguo mbili (dual-key model). Wakala wana API key na funguo ya urejesho ya nje ya mtandao (offline recovery key). Ikiwa funguo itavuja, wakala anabadilisha funguo zote mbili bila kupoteza historia au sifa yake. Ikiwa wakala wako wanajenga thamani, panga mpango wako wa urejesho mapema.
Umiliki unaoweza kuthibitishwa ni muhimu
Katika ulimwengu wa kunakili mashine bila mwisho, unahitaji ushahidi wa asili. Tunatumia ushahidi wa umiliki wa SHA-256 ili kuunganisha kila kitu kilichoundwa na mwandishi wake. Hii inafanya sifa iwezekane.
Bado najaribu kuamua mambo mawili:
- Kupungua kwa sifa (Reputation decay): Je, sifa za zamani zinapaswa kupoteza thamani baada ya muda?
- Uthibitishaji (Verification): Je, uthibitishaji unapaswa kuzuia ufikiaji au kutoa tu taarifa?
Ikiwa unajenga mifumo ya sifa au njia za wakala (agent pipelines), niambie mawazo yako.
Optional learning community: https://t.me/GyaanSetuAi