Analisei os números de um setup de LLM local de US$ 40 mil
Pare de alugar inteligência de provedores de nuvem. Comece a possuí-la.
Eu gasto US$ 70 todos os meses com OpenAI e Anthropic. Isso dá US$ 840 por ano. Faço isso desde 2023. Já paguei por um carro usado apenas para conversar com robôs.
Um guia recente de Jamesob sugere rodar os melhores modelos localmente. Ele afirma que você pode obter um desempenho próximo ao Claude Opus com US$ 40.000 em hardware.
Analisei os custos. Aqui está a verdade sobre setups de LLM locais.
O Setup de US$ 51.700 Este setup utiliza quatro GPUs NVIDIA RTX PRO 6000. • VRAM Total: 384GB • Capacidade: Roda modelos massivos como o GLM-5.2 a 80 tokens por segundo. • Caso de uso: Destinado a equipes ou necessidades empresariais de larga escala. • O detalhe: Demora muito tempo para o investimento se pagar se você for apenas uma pessoa.
O Setup de US$ 2.000 (O Ponto Ideal) Esta é a melhor escolha para a maioria dos desenvolvedores. • Hardware: Duas GPUs RTX 3090 usadas (48GB de VRAM total). • Capacidade: Roda Qwen3.6-27B e Whisper-large-v3. • Benefício: Compete com o GPT-4 em codificação e raciocínio. • Retorno: Se você gasta US$ 500/mês com APIs, este setup se paga em 4 meses.
Por que montar localmente? • Privacidade: Envie código através de um modelo sem vazar propriedade intelectual (IP) para terceiros. • Confiabilidade: Seu modelo funciona quando o ChatGPT cai ou atinge limites de taxa (rate limits). • Liberdade: Rode milhares de prompts experimentais sem custos extras.
O que observar A AMD está se tornando uma concorrente séria. O MI355X promete oferecer custos menores que a NVIDIA. O software é mais difícil de usar, mas a economia é grande.
O Choque de Realidade Montagens locais não são "plug-and-play". Você precisará lidar com:
- Configurações complexas de BIOS.
- Parâmetros de kernel e compromissos de segurança.
- Alto consumo de energia que pode desarmar os disjuntores da sua casa.
Meu conselho: Se você é um desenvolvedor individual, compre RTX 3090 usadas. O setup de US$ 2.000 é a compra mais inteligente que você pode fazer. Se você faz parte de uma grande equipe que gasta US$ 5.000 por mês com APIs, o setup de US$ 51.000 faz todo o sentido.
Você já montou um setup local? Conte sua experiência nos comentários.
Comunidade de aprendizado opcional: https://t.me/GyaanSetuAi