LLM 180 Juta Parameter pada Chip Seharga 10 Dolar

Sebuah proyek baru bernama p-for-llm sedang melakukan sesuatu yang mengesankan. Proyek ini menjalankan model dengan 180,9 juta parameter pada mikrokontroler ESP32-P4. Chip ini berharga antara enam hingga sepuluh dolar.

Sebagian besar proyek AI viral pada chip kecil berfokus pada tugas-tugas sederhana. Mereka memamerkan model yang menulis cerita pendek. Model-model tersebut sering kali memiliki parameter yang sangat sedikit dan tidak memiliki kegunaan nyata.

p-for-llm berbeda. Proyek ini bertujuan untuk kegunaan praktis.

Begini cara kerjanya:

  • Menggunakan arsitektur Mixture-of-Experts (MoE).
  • Untuk setiap token, router memilih satu ahli dari 29 ahli.
  • 28 ahli lainnya tetap tidak aktif.
  • Ini menghemat daya komputasi sambil tetap mempertahankan pengetahuan yang tinggi.
  • Menggunakan bobot ternari (ternary weights) agar model dapat masuk ke dalam memori kecil.
  • Model ini menghasilkan sekitar 9 token per detik.

Proses pelatihannya juga patut diperhatikan. Pengembangnya menggunakan satu kartu grafis konsumen RTX 5060 Ti. Tidak ada laboratorium masif atau anggaran besar di sini. Hanya satu orang dengan GPU kelas menengah dan kesabaran.

Ada satu kendala yang perlu Anda ketahui. Model ini belum sepenuhnya otonom. Anda harus mengirimkan bobot (weights) ke papan melalui USB saat startup. Ini belum menjadi perangkat mandiri yang memuat data dari kartu SD.

Ini masih bukan demo berbasis cloud. Perhitungan matematika terjadi secara lokal di dalam chip. Ini adalah langkah besar dibandingkan proyek-proyek yang hanya mengalirkan data ke server.

Mengapa ini penting?

Model kecil biasanya menemui jalan buntu. Mereka mungkin terlihat menarik, tetapi tidak dapat mengikuti instruksi. p-for-llm mencoba melampaui batasan tersebut. Proyek ini mendukung prompt ChatML dan menunjukkan tanda-tanda awal tool calling.

Proyek ini menunjukkan bahwa kemajuan nyata sering kali terjadi secara diam-diam. Saat proyek-proyek viral mengejar berita utama, para pembangun serius memublikasikan batasan dan catatan kaki mereka.

Saya akan menguji perangkat keras ini secara pribadi untuk memverifikasi angka-angka tersebut.

Sumber: https://dev.to/aiexplore369zoho/the-180m-parameter-llm-running-on-a-10-microcontroller-and-almost-nobody-noticed-4d3n

Komunitas pembelajaran opsional: https://t.me/GyaanSetuAi