𝗧𝘄𝗲𝗻𝘁𝘆 𝗬𝗲𝗮𝗿𝘀 𝗼𝗳 𝗟𝗶𝗻𝘂𝘅, 𝗮𝗻𝗱 𝗡𝗼𝘄 𝗜 𝗥𝘂𝗻 𝗠𝘆 𝗢𝘄𝗻 𝗔𝗜

Ich nutze Linux und Ubuntu seit fast 20 Jahren. Meine Reise begann 2007, als mein Vater mir eine E-Mail über die Installation von Ubuntu schickte.

Heute ist KI der große Trend. Die meisten Menschen zahlen hohe Gebühren für Large Language Models. Unternehmen wie Copilot und Anthropic ändern häufig ihre Lizenzmodelle. Die Kosten summieren sich schnell.

Ich nutze Open Source, um dies zu lösen. Ich habe einen lokalen KI-Stack auf meinem Apple Silicon Mac aufgebaut.

Ich verwende oMLX anstelle von Ollama. Es funktioniert auf Mac-Hardware besser. Ich lade Modelle von Hugging Face herunter. Ich nutze mlx-community-Builds. Diese sind 4-Bit-quantisiert. Dadurch passt ein 60-GB-Modell auf nur 17 GB Speicherplatz.

Ich lasse oMLX ständig als Homebrew-Service laufen. Er startet, wenn ich mich anmelde, und startet neu, falls er abstürzt.

So habe ich es eingerichtet:

• brew trust jundot/omlx • brew services start omlx

Wenn du den Trust-Schritt überspringst, wird Homebrew fehlschlagen.

oMLX läuft im Leerlauf, wenn ich es nicht benutze. Es nutzt meine CPU und GPU nur dann, wenn ich es aufrufe. Ich verbinde es mit meinen Tools wie dem Zed-Editor oder dem opencode-Terminal.

Das ist die Geschwindigkeit, die ich auf meinem Rechner erreiche:

Nemotron ist ein Mixture-of-Experts-Modell. Es läuft viel schneller, weil es für jedes Token nur einen kleinen Teil seiner Gewichte verwendet.

Das Ausführen lokaler Modelle gibt mir Freiheit. Ich kann Skripte in einer Schleife laufen lassen oder Aufgaben mit launchd planen. Ich habe Jobs für wöchentliche Checklisten und die tägliche Planung. Ich kann rechenintensive Aufgaben über Nacht laufen lassen, ohne mir Sorgen um API-Kosten oder Token-Limits machen zu müssen.

Ich nutze auch VoiceInk und Whisper lokal. Das ermöglicht es mir, Audio zu transkribieren, ohne Daten an Dritte zu senden.

Apple-Silicon-Hardware ist teuer. Sie ermöglicht es dir jedoch, die Leistung, für die du bereits bezahlt hast, zu nutzen, um deine eigene KI zu betreiben.

Mein vollständiges Setup findest du hier: github.com/kenahrens/mac-local-ai

Quelle: https://dev.to/kenahrens/twenty-years-of-linux-and-now-i-run-my-own-ai-4ab9

Optionale Lern-Community: https://t.me/GyaanSetuAi