𝗠𝗶𝘀𝘁𝗿𝗮𝗹 𝗟𝗮𝗿𝗴𝗲 𝗱𝗵𝗶𝗱𝗶 𝗻𝗮 𝗠𝗶𝘀𝘁𝗿𝗮𝗹 𝗠𝗲𝗱𝗶𝘂𝗺: 𝗠𝗮𝗲𝗹𝗲𝘇𝗼 𝘆𝗮 𝗖𝗧𝗢 𝗞𝘂𝘁𝗼𝗸𝗮 𝗸𝗮𝘁𝗶𝗸𝗮 𝗨𝘇𝗮𝗹𝗶𝘀𝗵𝗮𝗷𝗶
Miezi mitatu iliyopita, nilizindua kipengele cha LLM. Kisha bili ikaja.
Niligundua kuwa nilifanya kosa. Nilitumia Mistral Large wakati ningetakiwa kutumia Mistral Medium. Hii ilitugharimu karibu mara 4 zaidi ya ilivyohitajika.
Ikiwa unaendesha startup, huwezi kufanya maamuzi ya usanifu (architecture) kulingana na hisia tu. Lazima uyafanye kulingana na ROI.
Kosa ni rahisi. Nilidhani kuwa mifano mikubwa zaidi daima ni bora zaidi. Nilikuwa nimekosea.
Hivi ndivyo ninavyodhibiti gharama za LLM sasa:
- Panga ugumu wa kazi
- Tumia mifano midogo kwa ajili ya uainishaji (classification) au uchukuaji (extraction) rahisi.
- Tumia mifano mikubwa kwa ajili ya utafakari wa hatua nyingi (multi-step reasoning) pekee.
- Kadiria kiasi cha tokeni
- Angalia logs zako.
- Takisi ukuaji wako.
- Fanya hesabu kabla ya ku-deploy.
- Pima kwa kutumia evals halisi
- Usiamini hisia zako tu.
- Pitisha seti za majaribio kwenye mifano yote miwili.
- Linganisha metrics ambazo ni muhimu kwa bidhaa yako.
Kwa 70% ya kazi zangu, Mistral Medium inatosha. Inashughulikia uainishaji wa tiketi za msaada (support tickets) kikamilifu. Inagharimu thuluthi moja ya kile ambacho Large inatoza. Nimehifadhi Large kwa ajili ya kazi za utafakari wa kiwango cha juu.
Pia niepuke vendor lock-in. Ninatumia unified endpoint ili kupata mifano mingi. Ikiwa mtoa huduma mmoja ataongeza bei, mimi hubadilisha mifano ndani ya dakika chache. Hii inalinda runway yangu.
Ushauri wangu kwa CTOs:
- Tumia cache kwa ukali ili kupunguza bili.
- Toa majibu kwa mtindo wa stream ili kuboresha uzoefu wa mtumiaji.
- Jenga fallback logic ili mfumo wako uendelee kuwa hewani.
- Chagua mfano kabla ya ku-optimize prompt.
- Angalia mahitaji ya context window kwa kila kazi.
Acha kutumia nyundo kubwa kwa kazi zinazohitaji nyundo ndogo. Ufanisi huleta faida za ushindani. Inakuwezesha kutoa vipengele bora na bei nafuu kwa watumiaji wako.