Saya Mengira Kos untuk Rig LLM Tempatan Berharga $40K

Berhenti menyewa kecerdasan daripada penyedia awan. Mula memilikinya.

Saya membelanjakan $70 setiap bulan untuk OpenAI dan Anthropic. Itu adalah $840 setahun. Saya telah berbuat demikian sejak 2023. Saya telah membayar harga sebuah kereta terpakai hanya untuk berbual dengan robot.

Panduan terbaru oleh Jamesob mencadangkan penggunaan model teratas secara tempatan. Beliau mendakwa anda boleh mendapat prestasi yang hampir dengan Claude Opus dengan perkakasan bernilai $40,000.

Saya telah menganalisis kos tersebut. Inilah kebenaran tentang rig LLM tempatan.

Binaaan $51,700

Persediaan ini menggunakan empat GPU NVIDIA RTX PRO 6000. • Jumlah VRAM: 384GB • Keupayaan: Menjalankan model besar seperti GLM-5.2 pada 80 token sesaat. • Kes penggunaan: Ini adalah untuk pasukan atau keperluan perusahaan berskala tinggi. • Kekurangannya: Ia mengambil masa yang lama untuk mencapai pulang modal jika anda hanya seorang diri.

Binaaan $2,000 (Pilihan Terbaik)

Ini adalah pilihan terbaik untuk kebanyakan pembangun. • Perkakasan: Dua GPU RTX 3090 terpakai (jumlah VRAM 48GB). • Keupayaan: Menjalankan Qwen3.6-27B dan Whisper-large-v3. • Manfaat: Ia mampu bersaing dengan GPT-4 untuk pengekodan dan penaakulan. • Pulangan: Jika anda membelanjakan $500/bulan untuk API, ia akan membayar kosnya sendiri dalam masa 4 bulan.

Mengapa bina secara tempatan?

• Privasi: Hantar kod melalui model tanpa membocorkan IP kepada pihak ketiga. • Kebolehpercayaan: Model anda tetap berfungsi apabila ChatGPT tergendala atau mencapai had kadar (rate limits). • Kebebasan: Jalankan beribu-ribu prom eksperimen tanpa kos tambahan.

Perkara yang perlu diperhatikan

AMD kini menjadi pemain yang serius. MI355X mendakwa menawarkan kos yang lebih rendah daripada NVIDIA. Perisiannya lebih sukar untuk digunakan, tetapi penjimatan yang diperoleh adalah besar.

Semakan Realiti

Binaaan tempatan bukanlah jenis "pasang dan guna" (plug-and-play). Anda mesti mengendalikan:

  • Tetapan BIOS yang kompleks.
  • Parameter kernel dan pertukaran (tradeoffs) keselamatan.
  • Penggunaan kuasa yang tinggi yang boleh menyebabkan litar elektrik rumah anda terputus.

Nasihat saya:

Jika anda seorang pembangun individu, belilah RTX 3090 terpakai. Binaaan $2,000 adalah pembelian paling bijak yang boleh anda lakukan. Jika anda sebuah pasukan besar yang membelanjakan $5,000 sebulan untuk API, binaaan $51,000 sangatlah masuk akal.

Pernahkah anda membina rig tempatan? Beritahu saya pengalaman anda di ruangan komen.

Source: https://dev.to/sar_007/i-ran-the-numbers-on-building-a-40k-local-llm-rig-heres-when-it-actually-makes-sense-3bef

Optional learning community: https://t.me/GyaanSetuAi