𝗔𝗜 𝘇𝗲𝗹𝗳 𝗵𝗼𝘀𝘁𝗲𝗻 𝗺𝗲𝘁 𝗝𝗲𝘁𝘀𝗼𝗻 𝗢𝗿𝗶𝗻 𝗡𝗮𝗻𝗼 𝗲𝗻 𝗢𝗹𝗹𝗮𝗺𝗮

Cloud AI-servers zijn duur.

Het koppelen van clouddiensten aan lokale agents zorgt voor wrijving. Ik liep tegen dit probleem aan tijdens het bouwen van mijn apps, Govend en Flippy.

Ik wilde Ollama gebruiken om chatinterfaces en het genereren van flashcards aan te sturen. Ik wilde geen maandelijkse kosten betalen voor cloudservers. Ik wilde een lokale oplossing.

Ik koos voor de Nvidia Jetson Orin Nano. Deze verwerkt kleine AI-modellen efficiënt. Het is een eenmalige investering in plaats van een terugkerende rekening.

De installatie was niet eenvoudig. Ik heb een aantal harde lessen geleerd:

• Vermijd SD-kaarten. Gebruik in plaats daarvan een NVMe-harde schijf. • Let op de timing van je monitor. Mijn scherm ging in slaap tijdens het opstarten. Ik miste cruciale invoerprompts omdat de monitor te snel in de slaapstand ging. • Bereid je voor op hardwarematige wrijving. Ik moest de aan/uit-knop en het opstarten van de Nano perfect op elkaar afstemmen om een signaal te krijgen.

Toen de hardware eenmaal werkte, begon het echte werk. Ik stapte over van diensten zoals Heroku en Render. Ik bouwde een centrale serverhub om mijn applicaties lokaal te hosten.

Deze overstap leerde me veel over beveiliging. Het gebruik van AI brengt nieuwe risico's met zich mee. Ik moest leren hoe ik mijn setup kon beschermen.

Wat ik heb geïmplementeerd om mijn hub te beveiligen:

  • Rate limiting om misbruik te voorkomen.
  • Progressieve account-lockouts.
  • Security headers en strikte Content Security Policies.
  • Een serverfirewall om ongebruikte poorten te sluiten.
  • Een security.txt-bestand voor responsible disclosure.

Ik heb Claude Code gebruikt om te helpen bij het bouwen van mijn serverhub-pagina. Het hielp me om kwetsbaarheden te identificeren voordat ik publiekelijk ging.

Het bouwen van deze lokale AI-infrastructuur was een enorme leerervaring. Het veranderde mijn ontwikkelproces van het vertrouwen op externe clouds naar het volledig in eigen beheer hebben van mijn hele stack.

Bekijk mijn nieuwe hub hier: annavillarreal.com

Bron: https://dev.to/annavi11arrea1/self-hosting-experience-with-jetson-orin-nano-and-ollama-5a9c

Optionele leercommunity: https://t.me/GyaanSetuAi