LLM 180 Juta Parameter pada Cip Berharga 10 Dolar

Projek baharu yang dipanggil p-for-llm sedang melakukan sesuatu yang mengagumkan. Ia menjalankan model dengan 180.9 juta parameter pada mikrokontroler ESP32-P4. Cip ini berharga antara enam hingga sepuluh dolar.

Kebanyakan projek AI tular pada cip kecil tertumpu kepada tugas-tugas mudah. Ia mempamerkan model yang menulis cerita pendek. Model-model tersebut selalunya mempunyai parameter yang sangat sedikit dan tiada kegunaan sebenar.

p-for-llm adalah berbeza. Ia menyasarkan kegunaan praktikal.

Berikut adalah cara ia berfungsi:

  • Ia menggunakan seni bina Mixture-of-Experts (MoE).
  • Bagi setiap token, penghala (router) memilih satu pakar daripada 29.
  • 28 pakar yang lain tidak aktif.
  • Ini menjimatkan kuasa pengkomputeran sambil mengekalkan pengetahuan yang tinggi.
  • Ia menggunakan pemberat ternari (ternary weights) untuk memuatkan model ke dalam memori yang kecil.
  • Model tersebut menjana kira-kira 9 token sesaat.

Proses latihan juga menarik perhatian. Pembangunnya menggunakan satu kad grafik pengguna RTX 5060 Ti. Tiada makmal besar atau bajet yang luas di sini. Hanya seorang individu dengan GPU kelas pertengahan dan kesabaran.

Ada satu kekangan yang anda perlu tahu. Model ini belum sepenuhnya autonomi. Anda mesti memuat naik pemberat (weights) ke papan melalui USB semasa permulaan. Ia belum menjadi peranti berdiri sendiri yang dimuatkan daripada kad SD.

Ia masih bukan demo awan (cloud). Pengiraan berlaku secara tempatan pada cip tersebut. Ini adalah langkah besar berbanding projek yang hanya menghantar aliran data ke pelayan.

Mengapa ini penting?

Model kecil biasanya menemui jalan buntu. Ia mungkin menarik tetapi tidak dapat mengikut arahan. p-for-llm cuba melepasi halangan tersebut. Ia menyokong prom ChatML dan menunjukkan tanda-tanda awal panggilan alat (tool calling).

Projek ini menunjukkan bahawa kemajuan sebenar sering berlaku secara senyap. Semasa projek tular mengejar tajuk berita, pembina yang serius menerbitkan had dan nota kaki mereka.

Saya akan menguji perkakasan ini secara peribadi untuk mengesahkan angka-angka ini.

Sumber: https://dev.to/aiexplore369zoho/the-180m-parameter-llm-running-on-a-10-microcontroller-and-almost-nobody-noticed-4d3n

Komuniti pembelajaran pilihan: https://t.me/GyaanSetuAi