𝗔𝗜 𝗔𝗴𝗲𝗻𝘁 𝗖𝗼𝘀𝘁 𝗜𝘀 𝗮 𝗥𝘂𝗻𝘁𝗶𝗺𝗲 𝗦𝗶𝗴𝗻𝗮𝗹

Berhenti menganggap kos ejen AI seperti bil utiliti bulanan.

Invois bulanan adalah data kewangan. Ia memberitahu anda apa yang telah dibelanjakan selepas wang tersebut habis. Bahagian Kejuruteraan bertanggungjawab ke atas tingkah laku ejen. Jika anda ingin mengawal kos, anda mesti menganggap perbelanjaan sebagai isyarat runtime.

Ejen AI tidak membelanjakan wang seperti perkhidmatan tetap. Ia membelanjakan wang melalui:

Satu tugasan yang mahal boleh merosakkan bajet bulanan. Had jam yang ringkas mungkin menghalang tugasan murah yang bernilai daripada selesai. Anda tidak boleh menguruskan perkara ini dengan hamparan (spreadsheet).

Anda mesti memindahkan kawalan kos ke dalam harness.

Harness adalah tempat anda mengawal laluan model, cubaan semula, dan penggunaan alatan. Polisi kos harus berada di sini kerana harness memahami seni bina perbelanjaan tersebut.

Berhenti hanya menumpukan pada jumlah token. Mengurangkan token adalah sia-sia jika jawapannya salah. Sebaliknya, fokus pada kos bagi setiap hasil (outcome). • Kos bagi setiap pull request yang digabungkan. • Kos bagi setiap tiket sokongan yang diselesaikan. • Kos bagi setiap aliran kerja (workflow) yang berjaya.

Aliran kerja bernilai lima dolar yang menyelesaikan masalah adalah lebih baik daripada aliran kerja bernilai lima puluh sen yang menghasilkan kerja sampah untuk manusia.

Kawalan kos yang berkesan kelihatan seperti kerja kebolehpercayaan (reliability). Ia memerlukan pemilik yang sama, jejak (traces) yang sama, dan disiplin yang sama.

Jangan tunggu invois. Letakkan data kos bersebelahan dengan jejak (traces) dan penilaian anda. Anggap jejak yang mahal sebagai laporan pepijat (bug report) yang disertakan dengan tanda dolar.

Jika anda ingin mengawal perbelanjaan, kawal runtime tersebut.

Source: https://dev.to/focused_dot_io/ai-agent-cost-is-a-runtime-signal-focused-labs-5772

Optional learning community: https://t.me/GyaanSetuAi