𝗦𝗲𝗹𝗳-𝗛𝗼𝘀𝘁𝗶𝗻𝗴 𝗔𝗜 𝗸𝘄𝗮 𝗸𝘂𝘁𝘂𝗺𝗶𝗮 𝗝𝗲𝘁𝘀𝗼𝗻 𝗢𝗿𝗶𝗻 𝗡𝗮𝗻𝗼 𝗻𝗮 𝗢𝗹𝗹𝗮𝗺𝗮

Seva za AI za kwenye wingu (cloud) ni ghali.

Kuunganisha huduma za wingu na mawakala wa ndani (local agents) husababisha vikwazo. Nilikumbana na tatizo hili wakati nikitengeneza programu zangu, Govend na Flippy.

Nilitaka kutumia Ollama kuendesha mifumo ya mazungumzo (chat interfaces) na uundaji wa flashcards. Sikutaka kulipia ada za kila mwezi za seva za wingu. Nilitaka suluhisho la ndani.

Nilichagua Nvidia Jetson Orin Nano. Inashughulikia mifano midogo ya AI kwa ufanisi. Ni gharama ya mara moja badala ya bili inayojirudia.

Maandalizi hayakuwa rahisi. Nilijifunza masomo kadhaa magumu:

• Epuka kadi za SD. Tumia diski ngumu ya NVMe badala yake. • Zingatia muda wa kioo chako (monitor). Skrini yangu ilizima wakati wa kuwaka (boot). Nilikosa maelekezo muhimu ya kuingiza data kwa sababu kioo kililala haraka sana. • Jiandae kwa changamoto za vifaa (hardware friction). Ilibidi nisawazishe kitufe cha kuwashia na uanzishaji wa Nano (Nano boot) kwa usahihi ili kupata ishara.

Mara baada ya vifaa kufanya kazi, kazi halisi ilianza. Niliacha kutumia huduma kama Heroku na Render. Nilijenga kituo kikuu cha seva (central server hub) ili ku-host programu zangu ndani.

Mabadiliko haya yalinizidisha maarifa kuhusu usalama. Kutumia AI huleta hatari mpya. Ilibidi nijifunze jinsi ya kulinda mfumo wangu.

Nilichotekeleza ili kulinda kituo changu:

  • Udhibiti wa kiwango cha matumizi (Rate limiting) ili kuzuia matumizi mabaya.
  • Kufunga akaunti hatua kwa hatua (Progressive account lockouts).
  • Vichwa vya usalama (Security headers) na Sera kali za Usalama wa Maudhui (Content Security Policies).
  • Ukuta wa moto wa seva (Server firewall) ili kufunga bandari (ports) zisizotumika.
  • Faili la security.txt kwa ajili ya ufunuo wa uwajibikaji (responsible disclosure).

Nilitumia Claude Code kusaidia kujenga ukurasa wa kituo changu cha seva. Ilisaidia kutambua udhaifu kabla sijeweka wazi.

Kujenga miundombinu hii ya AI ya ndani ilikuwa uzoefu mkubwa wa kujifunza. Ilibadilisha mchakato wangu wa uundaji kutoka kutegemea wingu za nje hadi kumiliki mfumo wangu mzima (entire stack).

Tembelea kituo changu kipya hapa: annavillarreal.com

Chanzo: https://dev.to/annavi11arrea1/self-hosting-experience-with-jetson-orin-nano-and-ollama-5a9c

Jumuiya ya hiari ya kujifunza: https://t.me/GyaanSetuAi