GyaanSetu AI

AI, machine learning and LLM insights.

1317 articlesDeep, practical knowledge

Router Switchyard Nemotron 3.5 Lightning Boleh Menggandakan Kos Inferens

Nemotron 3.5 Lightning baharu daripada Nvidia menjalankan model MoE 30 B dengan hanya 3 B parameter aktif, namun lapisan penghalaan NeMo Switchyard miliknya boleh membuang prom yang disimpan dalam cache semasa menukar model, secara berkesan menggandakan kos bagi satu permintaan inferens.

AI · 3 min read

AI Pada Peranti Diperkasakan Apabila Muse Glimmer Membolehkan Peminat Menjalankan Model 30B Secara Tempatan

Model 30 bilion parameter Muse Glimmer telah dikuantisasi kepada kira-kira 17 GB, membolehkannya dimuatkan pada GPU dengan 24 GB VRAM atau Mac Apple Silicon melalui runtime llama.cpp. Walaupun ia cemerlang untuk ejen pada peranti, ujian keselamatannya menunjukkan kadar pelanggaran yang lebih tinggi berbanding pesaing, maka pembangun perlu menambah langkah keselamatan tambahan.

AI · 4 min read

Beta Percuma Menjimatkan Kira-kira 3% pada Bil Ejen Claude Anda, Bukan 14%

Header beta memampatkan output panggilan-alatan Claude, mengurangkan ~14% token tersebut, namun kerana token output hanyalah sebahagian kecil daripada jumlah keseluruhan, kebanyakan pengguna hanya melihat pengurangan sekitar ~3% dalam keseluruhan bil API mereka, selain sedikit pengurangan kependaman.

AI · 3 min read

Twitch Beri Penstrim Pilihan Keluar Satu Klik daripada Latihan AI Amazon

Suis tetapan lalai (default-on) ini terletak di tab Keselamatan dan Privasi Twitch; dengan menukarnya, semua penstriman langsung, VOD, klip, sembang dan muat naik tidak akan lagi digunakan untuk melatih saluran AI generatif Amazon, namun alat moderasi dan cadangan dalam platform akan tetap aktif.

AI · 3 min read

Sandbar Mengumpul $23 Juta Siri A untuk Membina Cincin AI 'Push-to-Talk' Tersuai

Cincin Stream milik Sandbar menggunakan butang 'push-to-talk' yang sengaja disediakan bagi mengelakkan kebimbangan privasi yang sering menjejaskan banyak peranti boleh pakai 'always-on', manakala perkakasan sepenuhnya tersuai miliknya—dengan sokongan jumlah pendanaan sebanyak $36 juta—menyasarkan persekitaran profesional dan sosial.

AI · 2 min read