Jinsi Nilivyojenga Kurasa za Ulinganisho wa AI kwa Bajeti Ndogo

Nilihitaji kujenga kurasa za ulinganisho kwa ajili ya dira yangu ya zana za AI.

Hesabu zilikuwa za kutisha. Nikiwa na mifano (models) 200, nilikabiliwa na karibu jozi 20,000 zinazowezekana. Kutumia Claude Haiku kutengeneza maudhui kwa kila jozi kungegharimu pesa nyingi sana ikiwa ningelifitefanya kila siku.

Hivi ndivyo nilivyotatua tatizo hilo kwa kutumia mantiki na mipaka.

Mkakati

Nilijikita kwenye maswali yenye nia kubwa (high-intent queries). Watumiaji wanataka kujua "Llama 3 vs Mistral." Wanataka uamuzi, si insha ndefu.

Nilitumia sheria hizi kudhibiti gharama:

• Panga mifano kulingana na lebo ya pipeline yake. • Chagua mifano 4 bora tu kwa idadi ya pakua (download count) katika kila kikundi. • Weka kikomo cha juu cha jumla ya jozi.

Hii ilipunguza jozi zangu kutoka 20,000 hadi takriban 50. Hii inafanya gharama zangu ziwe ndogo huku nikizungumzia mifano maarufu zaidi.

Mpangilio wa Kiufundi

Nilijenga mchakato wa ETL unaofanya kazi kila usiku. Ni idempotent. Hii ina maana ikiwa jozi hiyo tayari ipo kwenye hifadhidata (database) yangu, skriptu huipita.

Usiku mwingi, skriptu hukimbia kwa sekunde 3 na gharama ni $0 kwa sababu huipita kila kitu.

Ninatumia mbinu kadhaa kuifanya iwe na ufanisi:

• Prompt Caching: Ninatumia Claude Haiku client ya pamoja. Kwa kuwa system prompt inabaki vilevile, caching hufanya simu zinazofuata kuwa karibu bure. • Lean Prompts: Ninapunguza muhtasari wa mifano (model summaries) hadi herufi 400. Hii inafanya ingizo (input) liwe dogo na la haraka. • Static Generation: Ninatumia Astro kubadilisha data kuwa faili za JSON za kudumu (static). Hakuna simu za hifadhidata (database calls) za polepole au ucheleweshaji wa edge function kwa mtumiaji.

Nini Hutokea Mfumo Unapofeli?

AI inaweza kutotabirika. Wakati mwingine Claude hurudisha JSON mbaya.

Niliandika mfumo wa mbadala (fallback system). Ikiwa AI itafeli, ukurasa haufeli (crash). Badala yake, unaonyesha kiolezo (template) cha kawaida. Unamwambia mtumiaji akague kurasa za kila mfano. Ninafuatilia makosa haya kwenye hifadhidata yangu ili niweze kuyajaribu tena baadaye.

Ningefanya nini tofauti

Kama ningeanza upya leo, ningebadilisha mambo mawili:

  1. Ulinganishi wa cross-pipeline: Kulinganisha text model na vision model kuna thamani zaidi kuliko kulinganisha mifano miwili ya maandishi inayofanana.
  2. Uchaguzi unaoendeshwa na utafutaji: Badala ya kutumia idadi ya pakua, ningetumia kumbukumbu halisi za utafutaji za watumiaji kuamua ni jozi zipi za kujenga.

Kujenga kwa vikwazo hukulazimu kujenga kwa akili zaidi.

Source: https://dev.to/morinaga/how-i-built-pairwise-ai-model-compare-pages-with-claude-haiku-and-a-budget-cap-3hpm

Optional learning community: https://t.me/GyaanSetuAi