Das 180-Mio.-Parameter-LLM auf einem 10-Dollar-Chip

Ein neues Projekt namens p-for-llm leistet etwas Beeindruckendes. Es führt ein Modell mit 180,9 Millionen Parametern auf einem ESP32-P4-Mikrocontroller aus. Dieser Chip kostet zwischen sechs und zehn Dollar.

Die meisten viralen KI-Projekte auf kleinen Chips konzentrieren sich auf einfache Aufgaben. Sie präsentieren ein Modell, das Kurzgeschichten schreibt. Diese Modelle haben oft nur sehr wenige Parameter und keinen echten Nutzen.

p-for-llm ist anders. Es zielt auf Nützlichkeit ab.

So funktioniert es:

  • Es verwendet eine Mixture-of-Experts (MoE)-Architektur.
  • Für jedes Token wählt der Router einen Experten aus 29 aus.
  • Die anderen 28 Experten bleiben inaktiv.
  • Dies spart Rechenleistung bei gleichzeitig hohem Wissensstand.
  • Es verwendet ternäre Gewichte, um das Modell in den kleinen Speicher zu passen.
  • Das Modell generiert etwa 9 Token pro Sekunde.

Auch der Trainingsprozess ist bemerkenswert. Der Entwickler nutzte eine einzige RTX 5060 Ti Consumer-Grafikkarte. Es gibt hier kein massives Labor oder ein riesiges Budget. Nur eine Person mit einer Mittelklasse-GPU und Geduld.

Es gibt einen Haken, den man kennen sollte. Das Modell ist noch nicht vollkommen autonom. Man muss die Gewichte beim Start über USB auf das Board übertragen. Es ist noch kein Standalone-Gerät, das von einer SD-Karte lädt.

Es handelt sich immer noch nicht um eine Cloud-Demo. Die Berechnungen finden lokal auf dem Chip statt. Dies ist ein gewaltiger Schritt nach vorne im Vergleich zu Projekten, die Daten einfach nur an einen Server streamen.

Warum ist das wichtig?

Kleine Modelle stoßen meist an eine Grenze. Sie können zwar charmant sein, aber sie können keine Anweisungen befolgen. p-for-llm versucht, diese Hürde zu überwinden. Es unterstützt ChatML-Prompts und zeigt erste Anzeichen von Tool Calling.

Dieses Projekt zeigt, dass echter Fortschritt oft im Stillen geschieht. Während virale Projekte nach Schlagzeilen jagen, veröffentlichen ernsthafte Entwickler ihre Grenzen und ihre Fußnoten.

Ich werde diese Hardware persönlich testen, um diese Zahlen zu verifizieren.

Quelle: https://dev.to/aiexplore369zoho/the-180m-parameter-llm-running-on-a-10-microcontroller-and-almost-nobody-noticed-4d3n

Optionale Lern-Community: https://t.me/GyaanSetuAi