Kwa nini gharama zilipanda ghafla

Wakati timu ilipoanza kuongeza generative AI kwa mara ya kwanza, walituma kila ombi la mtumiaji kwenye modeli mpya zaidi na yenye uwezo mkubwa zaidi. Kadiri trafiki ilivyoongezeka, gharama kwa kila ombi zilipanda kwa kasi ile ile, na karatasi ya hesabu ya CFO ilionyesha matumizi yakizidi ukuaji wa watumiaji. Suluhisho la kawaida la haraka—"tumia tu modeli rahisi zaidi"—hufeli wakati wa utendaji (production) kwa sababu maswali tofauti yanahitaji viwango tofauti vya uwezo wa kufikiri. Njia halisi ya kurekebisha ni jinsi ombi linavyotumwa, siyo ni ipi ya modeli inayotumika kila wakati.

Kujenga tabaka la uelekezaji (routing layer) linalookoa pesa

Mhandisi alichukulia huduma ya inference kama sehemu nyingine yoyote ya utendaji: ainisha viwango (tiers), weka viwango vya huduma (SLAs), na dhibiti bajeti za ucheleweshaji (latency budgets). Muundo uliotokana na hatua hiyo una sehemu nne zinazofanya kazi ambazo kwa pamoja zinatoa upunguzaji wa 95%.

Uelekezaji wa viwango (Tiered routing)

Mfumo mdogo wa mbele (front-end) unaainisha kila ombi linaloingia kulingana na ugumu wake. Takriban 95% ya maswali huangukia katika kiwango cha "rahisi" kinachotumia modeli ya kawaida; ni asilimia 5 pekee ngumu zaidi zinazopelekwa kwenye modeli ya daraja la juu (premium). Uainishaji huu unaweza kulingana na kanuni (kama vile urefu wa maandishi, uwepo wa maneno muhimu ya fani fulani) au kujifunza kutokana na data za kihistoria za upelekaji wa maombi. Kwa kuanza na kiwango cha gharama nafuu, gharama ya kila mwezi ya chatbot ilishuka kutoka $420 hadi $28.

Kuchagua modeli inayofaa (Model right-sizing)

Kulinganisha uwezo wa modeli na ugumu wa kazi huleta akiba kubwa zaidi:

  • Mazungumzo rahisi – tumia modeli nyepesi badala ya ile kuu (akiba ya 97.5%).
  • Uainishaji – badilisha modeli ya wastani kwa mbadala rahisi zaidi (akiba ya 98.3%).
  • Muhtasari – badilisha modeli ya daraja la juu na ile ya wastani (akiba ya 97.2%).

Majina kamili ya modeli si muhimu; kanuni ni kuweka modeli yenye uwezo mkubwa zaidi kama akiba kwa ajili ya maswali machache ambayo kweli yanaihitaji.

Uhifadhi wa muda (Smart caching)

Kila hit ya cache huondoa hitaji la mawasiliano ya mtandao na malipo ya API. Cache ya Redis iliyosambazwa huhifadhi majibu yaliyofanikiwa pamoja na majibu ya "hapana" ("Sijui"). Swali lile lile lisiloweza kujibiwa linapotokea tena, mfumo hurudisha jibu la "Sijui" lililohifadhiwa badala ya kuita modeli kwa mara ya pili. Katika maelfu ya maombi, hatua hii pekee hupunguza sehemu kubwa ya bili.

Upunguzaji wa prompt (Prompt compression)

Prompt ndefu huongeza matumizi ya token, jambo ambalo huathiri moja kwa moja gharama. Timu huendesha mchakato rahisi wa muhtasari upande wa mteja au katika hatua ya usindikaji wa awali, ukipunguza muktadha wa token 2,000 hadi takriban token 400 kabla haujafika kwenye modeli ghali. Upunguzaji wa token huongezeka katika maombi yote, ukileta akiba kubwa bila kubadilisha uzoefu wa mtumiaji wa mwisho.

Ukusanyaji wa ombi (Strategic batching)

Ukusanyaji (batching) huunganisha maombi mengi huru kuwa ombi moja la API. Kanuni ya msingi ni rahisi: ikiwa mtumiaji anasubiri jibu, usikusanye maombi; ikiwa ombi linafanya kazi kwa nyuma (ripoti za usiku, kazi zilizopangwa), kusanya kila kitu. Kazi za usiku pekee hupunguza matumizi mengine kwa 10-20%.

Kufuatilia mzunguko wa uboreshaji (optimization loop)

Huwezi kuboresha kile usichokipima. Mhandisi aliweka vipimo vinne vya kila wiki:

  1. Gharama kwa kila ombi iliyogawanywa kwa viwango.
  2. Kiwango cha cache-hit kwa kila njia ya uelekezaji.
  3. Kiwango cha upelekaji (escalation rate) kutoka viwango vya bei nafuu kwenda vya premium.
  4. Matumizi kwa kila kundi la wateja.

Namba hizi huonyesha mabadiliko (drift)—kwa mfano, kiwango kinachoongezeka cha upelekaji kinaweza kuashiria kuwa mantiki ya uainishaji ni kali mno au ubora wa modeli rahisi umepungua. Timu hujirekebisha kwenye viwango (thresholds), ugawaji wa modeli, na sera za cache kila wiki, na kugeuza udhibiti wa gharama kuwa tabia badala ya hatua ya dharura.

Hitimisho

Tabaka la uelekezaji lililodhibitiwa vizuri ambalo linaainisha maombi, linachagua modeli zinazofaa, linahifadhi data kwa ukamilifu, linapunguza prompt, na kukusanya kazi za nyuma linaweza kupunguza matumizi ya AI-API kwa hadi 95% huku likidumisha uaminifu wa juu. Chukulia mfumo wa inference kama huduma ya utendaji: ainisha viwango, pima matokeo, na jirekebishe kila wiki.