Kikwazo cha AI Agent Wangu Hakikuwa Model. Kilikuwa ni Muundo wa Mfumo.

Miezi mitatu iliyopita, mfumo wa kazi (workflow) wa mteja ulivurugika.

Nilitumia agent mmoja kwa ajili ya uainishaji wa hati (document classification), kuweka lebo (tagging), na muhtasari. Ilifanya kazi vizuri kwa hati 50 kwa siku. Kisha idadi ikafikia 500.

Agent alichukua dakika 40 kwa kila kikundi (batch). Haikuweza kukua (scale). Ilifeli (crashed).

Sikuhamia kwenye model kubwa zaidi. Badala yake, niligawanya agent kuwa majukumu matatu maalum. Majukumu haya yalifanya kazi kwa pamoja (in parallel).

Kasi ya utendaji (throughput) iliongezeka kutoka dakika 40 hadi dakika 4. Model ilibaki ile ile. Muundo (architecture) ulibadilika.

Watengenezaji wengi hufanya kosa la kujenga agents wanaofanya kazi mfululizo (sequential agents). Agent mmoja anafanya kila kitu kwa mpangilio mmoja baada ya mwingine.

Ikiwa una hati 500 na kazi tatu kwa kila hati, unafanya simu 1,500 za LLM mmoja baada ya mwingine. Hata kama kila simu itachukua sekunde 2, utasubiri dakika 50. Model yako inatumia muda mwingi zaidi kusubiri.

Suluhisho ni kutumia agents maalum wanaofanya kazi kwa wakati mmoja (concurrently).

  • Tumia system prompts ndogo na zenye lengo mahususi.
  • Endesha kazi zisizoingiliana kwa wakati mmoja.
  • Tumia dispatcher kusimamia kazi.

Agents maalum ni haraka zaidi na rahisi zaidi. Model ndogo yenye prompt iliyonyooka itashinda model kubwa ya jumla kwenye kazi mahususi.

Hata hivyo, usifanye kila kitu kwa njia ya sambamba (parallelize). Epuka makosa haya:

  • Usifanye kazi kwa njia ya sambamba ambazo zinategemeana. Ikiwa kazi B inahitaji matokeo ya kazi A, lazima uziongoze kwa mpangilio.
  • Usifanye kazi ndogo sana kwa njia ya sambamba. Gharama ya ziada (overhead) ya kusimamia agent inaweza kuchukua muda mrefu kuliko kazi yenyewe.
  • Usipuuze kasi ya upatikanaji wa data (retrieval speed). Ikiwa mfumo wako ni mzito kwa sababu ya kutafuta kwenye database, kufanya LLM calls kwa njia ya sambamba hakutasaidia.

Fuata hatua hizi ili kuongeza uwezo (scale):

  • Kwanza, fanya uchunguzi (profile) wa mfumo wako. Gundua ni wapi muda unapotea hasa.
  • Tumia agents maalum kwa majukumu mahususi.
  • Chora ramani ya utegemezi (dependency graph) kabla ya kuandika kodi.

Kujenga AI agent ni matatizo mawili tofauti. Moja ni kile agent anachofanya. Lingine ni jinsi agent anavyoingia kwenye mfumo wako.

Mifumo ya uzalishaji (production systems) huishi au kufeli kutokana na tatizo la pili.

Ukifika kikomo, usinunue tu model kubwa zaidi. Chora ramani ya mfumo wako kwanza. Unaweza kugundua kuwa muundo (architecture) ndio tatizo halisi.

Source: https://dev.to/mrclaw207/my-ai-agent-bottleneck-wasnt-the-model-it-was-the-architecture-2h9m

Optional learning community: https://t.me/GyaanSetuAi