𝗔𝗹𝗼𝗷𝗮𝗺𝗶𝗲𝗻𝘁𝗼 𝗹𝗼𝗰𝗮𝗹 𝗱𝗲 𝗜𝗔 𝗰𝗼𝗻 𝗝𝗲𝘁𝘀𝗼𝗻 𝗢𝗿𝗶𝗻 𝗡𝗮𝗻𝗼 𝘆 𝗢𝗹𝗹𝗮𝗺𝗮

Los servidores de IA en la nube son costosos.

Conectar servicios en la nube con agentes locales genera fricción. Me enfrenté a este problema mientras desarrollaba mis aplicaciones, Govend y Flippy.

Quería usar Ollama para potenciar interfaces de chat y la generación de tarjetas de estudio (flashcards). No quería pagar cuotas mensuales por servidores en la nube. Quería una solución local.

Elegí el Nvidia Jetson Orin Nano. Maneja modelos de IA pequeños de manera eficiente. Es un costo único en lugar de una factura recurrente.

La configuración no fue fácil. Aprendí varias lecciones difíciles:

• Evita las tarjetas SD. Usa un disco duro NVMe en su lugar. • Vigila el tiempo de tu monitor. Mi pantalla se apagaba durante el arranque. Me perdí comandos de entrada cruciales porque el monitor entraba en hibernación demasiado rápido. • Prepárate para la fricción del hardware. Tuve que sincronizar perfectamente el botón de encendido y el arranque del Nano para obtener una señal.

Una vez que el hardware funcionó, comenzó el verdadero trabajo. Me alejé de servicios como Heroku y Render. Construí un hub de servidores central para alojar mis aplicaciones localmente.

Esta transición me enseñó sobre seguridad. El uso de IA introduce nuevos riesgos. Tuve que aprender cómo proteger mi configuración.

Lo que implementé para asegurar mi hub:

  • Limitación de tasa (rate limiting) para prevenir abusos.
  • Bloqueos de cuenta progresivos.
  • Encabezados de seguridad y políticas de seguridad de contenido (CSP) estrictas.
  • Un firewall de servidor para cerrar puertos no utilizados.
  • Un archivo security.txt para la divulgación responsable.

Utilicé Claude Code para ayudarme a construir la página de mi hub de servidores. Me ayudó a identificar vulnerabilidades antes de hacerme público.

Construir esta infraestructura de IA local fue una experiencia de aprendizaje masiva. Transformó mi proceso de desarrollo: de depender de nubes externas a ser dueño de todo mi stack.

Echa un vistazo a mi nuevo hub aquí: annavillarreal.com

Fuente: https://dev.to/annavi11arrea1/self-hosting-experience-with-jetson-orin-nano-and-ollama-5a9c

Comunidad de aprendizaje opcional: https://t.me/GyaanSetuAi