Foreman inageuza mawakala wa mifano mikubwa ya lugha (LLM) kuwa rasilimali asilia za Kubernetes, ikiruhusu timu kuendesha kodi iliyotengenezwa na AI kwenye uzalishaji (production) huku ikidhibiti gharama na usalama kwa ukali.
Jinsi wazo hili linavyoendana na mtiririko wa kazi wa watengenezaji (dev workflow) wa leo
Makampuni yamekuwa yakijaribu kutumia LLM zinazoweza kuandika kodi, lakini mifumo mingi inachukulia modeli hiyo kama "black box" inayofahamika. Ishara moja tu ya "imekwisha" (done) kutoka kwa modeli inaweza kusukuma mabadiliko ambayo hayajajaribiwa moja kwa moja kwenye ghala la kodi (repository), jambo linalozua wasiwasi wa usalama na uaminifu. Wakati huo huo, kuendesha huduma za AI kwenye wingu (cloud) kunaweza kuwa ghali haraka, hasa wakati modeli ile ile inaitwa mara kwa mara kutoka kwenye mifumo ya CI.
Jibu la Foreman ni kuingiza mzunguko mzima wa uandishi wa kodi ndani ya klasta ya Kubernetes. Foreman huendeshwa kama rasilimali za Kubernetes.
Vitu vinne vya msingi vinavyofanya jambo hili kutokea
- Agent – Inafafanua mfanyakazi. Inataja LLM ya kuitwa, inaorodhesha zana ambazo modeli inaweza kutumia (k.m., file-write au git-push), na inaweka bajeti inayoweka kikomo cha wito wa modeli. Majukumu huunganishwa hapa; agent mwandishi (coder agent) huandika kodi, na agent mhakiki (verifier agent) huikagua.
- Workload – Kipimo cha kazi kilichoandikwa na mtumiaji. Kinashikilia nia ya kiwango cha juu (k.m., "ongeza unit tests kwa ajili ya module X"), rejea ya ghala la kodi linalolengwa, na orodha ya mawakala (agents) wanaopaswa kushughulikia kazi hiyo.
- AgenticTask – Kazi halisi inayozalishwa na Workload. Kazi inapoendelea, kila AgenticTask huandikisha sasisho za hali, ikiruhusu waendeshaji kufuatilia mtiririko (pipeline) kwa wakati halisi.
- FleetNode – Node ya Kubernetes inayotekeleza kazi hizo. Mpangaji (scheduler) wa ndani huunganisha AgenticTasks zinazosubiriwa na FleetNodes ambazo zina jukumu na rasilimali zinazohitajika.
Uhakiki unachukua nafasi ya imani isiyo na masharti
Foreman haichukui kuwa matokeo ya modeli ni sahihi. Wakati agent mwandishi anapomaliza kazi yake, hutuma ombi badala ya matokeo ya mwisho. Mhakiki (verifier)—kawaida ni skript ya kimahesabu (deterministic script), si LLM nyingine—huendesha kodi kupitia linters, unit tests, au ujenzi kamili (full builds). Foreman huandika matawi (branch) mapya kwenye ghala la kodi tu ikiwa ukaguzi huo utapita.
Ikiwa mhakiki atafeli, kazi hiyo huwekwa alama ya kukataliwa na mabadiliko hayo hayaingizwi kamwe. Mgawanyo huu unaruhusu modeli kuzalisha kwa ubunifu huku mtandao wa usalama ukibaki chini ya udhibiti kamili wa binadamu.
Kusakinisha stack kwenye klasta
- Sakinisha LLMKube core chart kwa kutumia Helm.
- Sakinisha Foreman chart, pia kupitia Helm.
- Badilisha hali ya agent kuwa “native” ili mzunguko halisi wa ombi-majibu (request-response loop) uwe hai.
- Weka majukumu (coder, verifier) kwa FleetNodes zitakazohifadhi kazi hiyo.
Seti mbili za utambulisho (credentials) zinahitajika: utambulisho wa git kwa ajili ya kusoma matatizo (issues) na kusukuma matawi (pushing branches), na utambulisho wa modeli kwa ajili ya kuita ama API iliyohifadhiwa au huduma ya utambuzi (inference service) inayojiendesha.
Vifaa vya kudhibiti gharama na usalama unavyoweza kuvitumia
Foreman inaruhusu waendeshaji kuweka kikomo cha mamlaka ya modeli kwa kuondoa zana kwenye ufafanuzi wa agent. Kuondoa “bash” au “write_file” huzuia modeli kutekeleza amri za shell bila mpangilio au kuandika nje ya eneo la kazi lililotengwa.
Kikomo cha mzunguko (turn limit) huweka ukomo wa idadi ya wito wa modeli kwa kila kazi, hivyo kudhibiti matumizi ya pesa moja kwa moja. Kurekebisha dirisha la muktadha (context window)—kiwango cha maelekezo (prompt) ambacho modeli inaona—kunapunguza zaidi matumizi ya token. Wakati modeli inapoendeshwa ndani ya vifaa vya shirika (on-prem hardware), hakuna data inayotoka nje ya shirika, jambo linalozingatia sera kali za faragha ya data.