GyaanSetu AI

AI, machine learning and LLM insights.

1515 articlesDeep, practical knowledge

Penyelidik Solo Kurangkan Bil Ejen LLM Sebanyak 31% kepada $651 dengan Merekod Setiap Token

Dengan menambah lapisan log PostgreSQL yang merakam nama model, jumlah token, jenis tugasan, dan kos setiap panggilan, penyelidik tersebut mengenal pasti bahawa keputusan carian SEC mentah telah meningkatkan saiz prompt secara berlebihan. Merumuskan keputusan tersebut dan mengarahkan semakan mudah ke model yang lebih murah telah memacu penjimatan sebanyak 31% serta meningkatkan ketepatan.

AI · 3 min read