Microsoft imeongeza AI Gateway tier maalum kwenye Azure API Management (APIM). Hatua hii inaashiria kuwa simu za LLM sasa zinachukuliwa kama mzigo wa kazi (workload) tofauti, na si tu API endpoint nyingine.

Kwa nini trafiki ya LLM inavuruga lango (gateways) za kawaida

Prompt moja inaweza kugharimu mara mia zaidi kuliko nyingine, lakini API gateway ya kawaida huona zote mbili kama ombi (request) moja. Lango hilo huhesabu simu, si idadi ya token zinazochakatwa na modeli. Ombi linalotuma token mia chache na lile linalotuma maelfu ya token hutoa vipimo sawa vya idadi ya maombi, ingawa lile la mwisho linaweza kugharimu mara nyingi zaidi.

Mambo manne yanayofanya mipaka inayozingatia maombi isifanye kazi kwa AI:

  • Gharama ≠ idadi ya maombi. Malipo yanahusiana na token, si idadi ya simu za HTTP unazofanya.
  • Kiasi cha token kinatofautiana sana. Swali moja linaweza kuwa fupi; jingine linaweza kujumuisha hati ndefu.
  • Uteuzi wa modeli unabadilisha bei. LLM tofauti hutoza viwango tofauti kwa kila token.
  • Streaming huficha bili ya mwisho. Wakati majibu yanapokuwa ya streaming, jumla ya idadi ya token haijulikani mpaka stream iishe.

Ikiwa utaendelea kupima maombi pekee, utakuja na data ya ufuatiliaji ambayo haikupi taarifa yoyote kuhusu matumizi halisi ya pesa.

Kile ambacho AI Gateway tier kinabadilisha

Sera nyingi zinazohitajika kudhibiti matumizi ya token tayari zipo kwenye APIM tiers za kawaida—zikiwa zimeandikwa kama sheria za XML na kuonyeshwa kwenye dashibodi maalum. AI tier inakusanya uwezo huo huo katika uzoefu ulioundwa mahususi kwa ajili hiyo:

  • Ufungaji wa upanuzi (isolation of scaling) kwa trafiki ya AI.
  • Usanidi rahisi (simplified configuration) unaoondoa hitaji la kuandika sera za XML kwa mkono.

Mabadiliko makuu ni ya kiutendaji: hutahitaji tena kuandika kodi tata au kudumisha dashibodi tofauti ili kusimamia bajeti za token. Tier hii inatoa kiolesura (interface) kilicho tayari kwa ajili ya udhibiti huo.

Lini ubadilishwe – mwongozo kulingana na trafiki

  • AI ni sehemu ndogo ya trafiki yako. Endelea kutumia APIM tier yako ya sasa na uongeze sera za token ikiwa unahitaji udhibiti wa kina.
  • AI inatawala simu zako. Hamia kwenye AI tier ili kutenga upanuzi na kuweka usimamizi wa gharama ukiwa safi.
  • Unataka kuepuka mzigo wa kihandisi (engineering overhead). Zana zilizojengwa ndani ya tier hii zinaondoa muda unaotumika kujenga na kudumisha sera maalum.

Gharama kubwa si bei ya usajili; ni saa za kihandisi zinazotumika kuziba mapengo katika lango la jumla ili kulifanya lielewe uchumi wa token.

Mpango wa awamu ya majaribio (Preview-phase playbook)

Microsoft bado inatoa AI tier katika awamu ya majaribio (preview). Itumie kama eneo la majaribio, si kama uzinduzi wa uzalishaji (production launch).

  1. Chagua mzigo wa kazi wa ndani wa AI wenye kiasi kikubwa. Chagua huduma inayozalisha trafiki kubwa zaidi ya token.
  2. Elekeza mzigo huo wa kazi kupitia AI tier. Tumia usanidi mpya kunasa matumizi ya token kwa kila mtumiaji.
  3. Kusanya data ya matumizi ya token kwa wiki chache. Linganisha idadi ya token na gharama zinazohusiana na ufuatiliaji wako wa sasa.
  4. Tumia msingi (baseline) kusaidia upangaji wa bajeti. Amua ikiwa faida za udhibiti wa gharama za tier hii ni kubwa kuliko mapungufu yake ya awamu ya majaribio.

Usihamishe mizigo ya kazi ya uzalishaji (production workloads) muhimu sana kwenda kwenye huduma ya majaribio mpaka itakapopatikana kwa ujumla (general availability).

Hoja kinyume: si kila mtu anahitaji tier tofauti

Ikiwa shirika lako hufanya simu za mara kwa mara tu kwa LLM, gharama ya ziada ya AI tier inaweza isiwe na uhalali. Unaweza kufikia usimamizi wa kiwango cha token kwa kutumia mfumo wa sera uliopo, ingawa kwa juhudi nyingi zaidi za kumanual. Tier hii inafanya kazi vizuri zaidi wakati trafiki ya AI ni sehemu kubwa na inayokua ya API surface yako.

Hitimisho

AI Gateway tier inakiri kuwa trafiki ya LLM inafanya kazi tofauti kabisa na simu za API za jadi. Kwa kuhama kutoka kwenye kuhesabu maombi kwenda kwenye usimamizi unaozingatia token, inawapa watengenezaji njia ya vitendo ya kudhibiti matumizi ya AI bila kuzama kwenye kodi maalum. Kwa timu ambazo matumizi yao ya AI tayari ni makubwa—au yanatarajiwa kukua—kujaribu awamu ya majaribio sasa kunaweza kusaidia kujenga msingi wa matumizi ya token.