Bagaimana Saya Membina Halaman Perbandingan AI dengan Bajet Terhad

Saya perlu membina halaman perbandingan untuk direktori alatan AI saya.

Pengiraannya agak menakutkan. Dengan 200 model, saya berhadapan dengan hampir 20,000 pasangan yang mungkin. Menggunakan Claude Haiku untuk menjana kandungan bagi setiap pasangan akan menelan kos yang terlalu tinggi jika saya menjalankannya setiap hari.

Berikut adalah cara saya menyelesaikannya menggunakan logik dan had.

Strategi

Saya memberi tumpuan kepada pertanyaan berhasrat tinggi (high-intent queries). Pengguna ingin tahu "Llama 3 vs Mistral." Mereka mahukan keputusan, bukan esei yang panjang.

Saya menggunakan peraturan ini untuk mengawal kos:

• Kumpulkan model mengikut tag saluran paip (pipeline tag) mereka. • Pilih hanya 4 model teratas berdasarkan jumlah muat turun dalam setiap kumpulan. • Tetapkan had tetap pada jumlah keseluruhan pasangan.

Ini mengurangkan pasangan saya daripada 20,000 kepada sekitar 50 sahaja. Ini memastikan kos saya rendah sambil merangkumi model yang paling popular.

Persediaan Teknikal

Saya membina proses ETL yang berjalan setiap malam. Ia bersifat idempotent. Ini bermakna jika pasangan tersebut sudah wujud dalam pangkalan data saya, skrip akan melangkauinya.

Kebanyakan malam, skrip berjalan dalam masa 3 saat dan menelan kos $0 kerana ia melangkau segalanya.

Saya menggunakan beberapa helah untuk menjadikannya cekap:

• Prompt Caching: Saya menggunakan klien Claude Haiku yang dikongsi. Memandangkan prompt sistem kekal sama, caching menjadikan panggilan seterusnya hampir percuma. • Lean Prompts: Saya memendekkan ringkasan model kepada 400 aksara. Ini memastikan input kekal kecil dan pantas. • Static Generation: Saya menggunakan Astro untuk menukarkan data kepada fail JSON statik. Tiada panggilan pangkalan data yang perlahan atau kependaman (latency) fungsi edge untuk pengguna.

Apa yang Berlaku apabila Ia Gagal?

AI boleh menjadi tidak menentu. Kadangkala Claude memulangkan JSON yang tidak sah.

Saya menulis sistem fallback. Jika AI gagal, halaman tersebut tidak akan tergendala (crash). Sebaliknya, ia akan memaparkan templat standard. Ia memberitahu pengguna untuk menyemak halaman model individu. Saya menjejaki kegagalan ini dalam pangkalan data saya supaya saya boleh mencubanya semula kemudian.

Apa yang Saya Akan Lakukan Secara Berbeza

Jika saya bermula semula hari ini, saya akan mengubah dua perkara:

  1. Perbandingan rentas saluran paip (cross-pipeline): Membandingkan model teks dengan model visi adalah lebih bernilai daripada membandingkan dua model teks yang serupa.
  2. Pemilihan berasaskan carian: Daripada menggunakan jumlah muat turun, saya akan menggunakan log carian pengguna yang sebenar untuk memutuskan pasangan mana yang perlu dibina.

Membina dengan kekangan memaksa anda untuk membina dengan lebih bijak.

Sumber: https://dev.to/morinaga/how-i-built-pairwise-ai-model-compare-pages-with-claude-haiku-and-a-budget-cap-3hpm

Komuniti pembelajaran pilihan: https://t.me/GyaanSetuAi