Mfumo wa Matukio ya Wakati wa Uendeshaji wa Wakala
Acha kubishana kuhusu mifumo ya wakala (agent frameworks).
Wahandisi mara nyingi huuliza ikiwa wanapaswa kutumia LangChain, CrewAI, au kujenga wao wenyewe. Hili si swali sahihi. Uamuzi halisi ni wapi unauambatanisha sera (policy) ndani ya wakati wa uendeshaji wa wakala (agent runtime) wako.
Mifumo (frameworks) inabadilika. Uhitaji wa kisanifu wa sera unabaki vilevile.
Kila mrundikano wa wakala wa uzalishaji (production agent stack) unahitaji matukio manne mahususi ya wakati wa uendeshaji ili kuzuia hitilafu (bugs) na uvujaji wa usalama:
• UserPromptSubmit: Kabla ya prompt kufikia modeli. Itumie hii kuzuia siri na PII. • PreToolUse: Kabla ya kifaa (tool) kufanya kazi. Itumie hii kusimamia bajeti za gharama na orodha nyeupe za vifaa (tool whitelists). • PostToolUse: Baada ya kifaa kurudisha matokeo. Itumie hii kukagua PII au mashambulizi ya uingizaji (injection attacks). • Stop: Baada ya wakala kumaliza. Itumie hii kuhakiki ikiwa wakala kweli amekamilisha kazi.
Kila tukio lina kazi tofauti.
Uwasilishaji wa prompt lazima uwe wa haraka. Unahitaji kufanya kazi kwa milisekunde ili mtumiaji asisubiri. Tukio la Stop linaweza kuchukua muda mrefu zaidi. Unaweza kuruhusu sekunde nzima kuhakiki ikiwa wakala kweli alifanya kazi yake kabla ya mtumiaji kuona matokeo.
Lazima pia uamue jinsi "hooks" zako zinavyofeli.
Ikiwa "security hook" itafeli, unapaswa kufunga (fail closed). Ni bora kukataa ombi kuliko kuvuja siri. Ikiwa ukaguzi wa ubora utafeli, unaweza kufungua (fail open) ili mtumiaji bado apate jibu.
Mifumo (frameworks) ni bidhaa ya kawaida. Ufunikaji wa sera yako ndio kinga yako kuu (moat).
Jiulize maswali haya matatu kuhusu mrundikano wako wa sasa:
- Ni tukio gani linazuia uvujaji wa siri kwenye prompt?
- Ni tukio gani linakamata wakala anapidanganya kuhusu kumaliza kazi?
- Ni tukio gani linakagua matokeo ya vifaa kwa ajili ya PII kabla ya modeli kuyasoma?
Ikiwa huwezi kujibu haya, wakala wako hauko tayari kwa uzalishaji (production).
Chanzo: https://dev.to/willianpinho/the-agent-runtime-event-model-55l9
Jumuiya ya kujifunza ya hiari: https://t.me/GyaanSetuAi