Ich habe die Zahlen für ein 40.000 $-Local-LLM-Rig analysiert
Hören Sie auf, Intelligenz von Cloud-Anbietern zu mieten. Fangen Sie an, sie zu besitzen.
Ich gebe jeden Monat 70 $ für OpenAI und Anthropic aus. Das sind 840 $ im Jahr. Das mache ich schon seit 2023. Ich habe quasi ein gebrauchtes Auto nur dafür bezahlt, mit Robotern zu chatten.
Ein aktueller Leitfaden von Jamesob schlägt vor, Top-Modelle lokal auszuführen. Er behauptet, dass man mit Hardware im Wert von 40.000 $ eine Leistung erreichen kann, die nah an Claude Opus heranreicht.
Ich habe die Kosten analysiert. Hier ist die Wahrheit über lokale LLM-Rigs.
Das 51.700 $-Setup
Dieses Setup verwendet vier NVIDIA RTX PRO 6000 GPUs. • Gesamter VRAM: 384 GB • Leistungsfähigkeit: Führt massive Modelle wie GLM-5.2 mit 80 Token pro Sekunde aus. • Anwendungsfall: Dies ist für Teams oder hochskalierbare Enterprise-Anforderungen gedacht. • Der Haken: Wenn man alleine arbeitet, dauert es sehr lange, bis sich die Investition amortisiert.
Das 2.000 $-Setup (Der Sweet Spot)
Dies ist die beste Wahl für die meisten Entwickler. • Hardware: Zwei gebrauchte RTX 3090 GPUs (insgesamt 48 GB VRAM). • Leistungsfähigkeit: Führt Qwen3.6-27B und Whisper-large-v3 aus. • Vorteil: Es konkurriert beim Coding und Reasoning mit GPT-4. • Amortisation: Wenn Sie 500 $ pro Monat für APIs ausgeben, hat sich das System in 4 Monaten bezahlt gemacht.
Warum lokal bauen?
• Datenschutz: Code durch ein Modell senden, ohne geistiges Eigentum (IP) an Dritte zu verlieren. • Zuverlässigkeit: Ihr Modell funktioniert auch dann, wenn ChatGPT ausfällt oder Rate-Limits erreicht. • Freiheit: Tausende experimentelle Prompts ohne zusätzliche Kosten ausführen.
Worauf man achten sollte
AMD wird zu einem ernstzunehmenden Akteur. Die MI355X verspricht niedrigere Kosten als NVIDIA. Die Software ist schwieriger zu bedienen, aber die Ersparnisse sind groß.
Der Realitätscheck
Lokale Builds sind kein Plug-and-Play. Sie müssen sich um Folgendes kümmern:
- Komplexe BIOS-Einstellungen.
- Kernel-Parameter und Sicherheitskompromisse.
- Hoher Stromverbrauch, der die Sicherungen in Ihrem Zuhause auslösen kann.
Mein Rat: Wenn Sie ein einzelner Entwickler sind, kaufen Sie gebrauchte RTX 3090s. Das 2.000 $-Setup ist der klügste Kauf, den Sie tätigen können. Wenn Sie ein großes Team sind, das 5.000 $ pro Monat für APIs ausgibt, ist das 51.000 $-Setup absolut sinnvoll.
Haben Sie schon einmal ein lokales Rig gebaut? Erzählen Sie mir von Ihren Erfahrungen in den Kommentaren.
Optionale Lern-Community: https://t.me/GyaanSetuAi