GyaanSetu AI

Wawasan AI, machine learning, dan LLM.

1599 articlesDeep, practical knowledge

Google Gemma-4 31B Lolos Uji Kecocokan Token pada AWS Inferentia Namun Menghasilkan Kalimat Tak Bermakna

Inferentia2 INF2.24xlarge mereproduksi aliran token yang persis sama dengan referensi CPU, tetapi kedua proses tersebut menggunakan prompt yang salah format karena tidak menyertakan templat obrolan dan penanda giliran, sehingga menyebabkan Gemma-4 terjebak dalam loop tak terbatas berisi kalimat tak bermakna. Perangkat keras tersebut hanya mengulang bug yang ada pada kode referensi.

AI · 3 min read

Peneliti Mandiri Pangkas Tagihan Agen LLM 31% Menjadi $651 dengan Mencatat Setiap Token

Dengan menambahkan lapisan logging PostgreSQL yang mencatat nama model, jumlah token, jenis tugas, dan biaya per panggilan, peneliti tersebut mengidentifikasi bahwa hasil pencarian SEC mentah membuat prompt membengkak. Meringkas hasil tersebut dan mengarahkan pengecekan sederhana ke model yang lebih murah berhasil mendorong penghematan sebesar 31% dan meningkatkan akurasi.

AI · 3 min read

Vercel AI SDK 7 Mengunci Tool Hanya pada Data yang Dideklarasikan

SDK kini mewajibkan setiap tool untuk menyediakan skema konteks berbasis Zod, dan pada saat runtime, Vercel memvalidasi bahwa hanya field yang dideklarasikan yang diteruskan, serta menghentikan eksekusi jika terdapat kunci tambahan atau kunci yang hilang.

AI · 3 min read

Deep Interaction Tingkatkan Keberhasilan Perbaikan LLM 25%+ Sambil Memangkas Token 40%

Dengan memperlakukan output model sebagai teks yang dapat diedit, Deep Interaction memungkinkan pengembang untuk mengidentifikasi langkah penalaran yang salah, menulis ulangnya, dan memasukkan kembali prompt yang telah disaring—menghasilkan lonjakan tingkat koreksi sebesar 25% dan penurunan penggunaan token sebesar 40% pada tolok ukur STEM.

AI · 2 min read