Jetson Orin Nano மற்றும் Ollama மூலம் AI-ஐ சுயமாக ஹோஸ்ட் செய்தல்

கிளவுட் AI சர்வர்கள் விலை உயர்ந்தவை.

கிளவுட் சேவைகளை உள்ளூர் ஏஜெண்டுகளுடன் (local agents) இணைப்பது சிரமங்களை உருவாக்குகிறது. எனது Govend மற்றும் Flippy ஆகிய செயலிகளை உருவாக்கும்போது நான் இந்தச் சிக்கலை எதிர்கொண்டேன்.

சாட் இன்டர்ஃபேஸ்கள் (chat interfaces) மற்றும் ஃபிளாஷ் கார்டு உருவாக்கத்திற்கு (flashcard generation) Ollama-வைப் பயன்படுத்த விரும்பினேன். கிளவுட் சர்வர்களுக்காக மாதந்தோறும் கட்டணம் செலுத்த நான் விரும்பவில்லை. எனக்கு ஒரு உள்ளூர் தீர்வு தேவைப்பட்டது.

நான் Nvidia Jetson Orin Nano-வைத் தேர்ந்தெடுத்தேன். இது சிறிய AI மாடல்களைத் திறம்பட கையாள்கிறது. இது தொடர்ச்சியான கட்டணத்திற்குப் பதிலாக ஒருமுறை மட்டும் செலுத்த வேண்டிய செலவாகும்.

இந்த அமைப்பை உருவாக்குவது எளிதாக இருக்கவில்லை. நான் பல கடினமான பாடங்களைக் கற்றுக்கொண்டேன்:

• SD கார்டுகளைத் தவிர்க்கவும். அதற்குப் பதிலாக NVMe ஹார்ட் டிரைவைப் பயன்படுத்தவும். • உங்கள் மானிட்டரின் நேரத்தைக் கவனியுங்கள். பூட் (boot) ஆகும் போது எனது திரை உறங்கிவிட்டது (sleep). மானிட்டர் மிக வேகமாகத் தூக்க நிலைக்கு (hibernate) சென்றதால், முக்கியமான இன்புட் ப்ராம்ப்ட்களை (input prompts) என்னால் கவனிக்க முடியவில்லை. • வன்பொருள் சிக்கல்களுக்குத் தயாராக இருங்கள். சிக்னலைப் பெறுவதற்கு பவர் பட்டன் மற்றும் Nano பூட் ஆகியவற்றை நான் சரியாக ஒருங்கிணைக்க வேண்டியிருந்தது.

வன்பொருள் வேலை செய்தவுடன், உண்மையான வேலை தொடங்கியது. நான் Heroku மற்றும் Render போன்ற சேவைகளிலிருந்து விலகி வந்தேன். எனது செயலிகளை உள்ளூரில் ஹோஸ்ட் செய்ய ஒரு மைய சர்வர் ஹப்-ஐ (central server hub) உருவாக்கினேன்.

இந்த மாற்றம் எனக்குப் பாதுகாப்பைப் பற்றிப் பயிற்றுவித்தது. AI-ஐப் பயன்படுத்துவது புதிய அபாயங்களை ஏற்படுத்துகிறது. எனது அமைப்பைப் பாதுகாப்பது எப்படி என்று நான் கற்றுக்கொள்ள வேண்டியிருந்தது.

எனது ஹப்-ஐப் பாதுகாக்க நான் செயல்படுத்தியவை:

  • துஷ்பிரயோகத்தைத் தடுக்க ரேட் லிமிட்டிங் (Rate limiting).
  • படிப்படியான கணக்கு லாக்அவுட்கள் (Progressive account lockouts).
  • பாதுகாப்பு ஹெடர்கள் (Security headers) மற்றும் கடுமையான உள்ளடக்கப் பாதுகாப்பு கொள்கைகள் (Content Security Policies).
  • பயன்படுத்தப்படாத போர்ட்களை (ports) மூட ஒரு சர்வர் ஃபயர்வால் (server firewall).
  • பொறுப்பான வெளிப்பாட்டிற்காக (responsible disclosure) ஒரு security.txt கோப்பு.

எனது சர்வர் ஹப் பக்கத்தை உருவாக்க Claude Code-ஐப் பயன்படுத்தினேன். நான் பொதுவெளியில் வெளியிடுவதற்கு முன்பே பாதிப்புகளைக் கண்டறிய அது எனக்கு உதவியது.

இந்த உள்ளூர் AI உள்கட்டமைப்பை உருவாக்குவது ஒரு மிகப்பெரிய கற்றல் அனுபவமாக இருந்தது. இது எனது மேம்பாட்டுச் செயல்முறையை வெளிப்புற கிளவுட்களைச் சார்ந்திருப்பதிலிருந்து, எனது முழு ஸ்டேக்கையும் (entire stack) நானே உரிமையாளராகக் கொண்டிருப்பதாக மாற்றியது.

எனது புதிய ஹப்-ஐ இங்கே பாருங்கள்: annavillarreal.com

ஆதாரம்: https://dev.to/annavi11arrea1/self-hosting-experience-with-jetson-orin-nano-and-ollama-5a9c

விருப்பமான கற்றல் சமூகம்: https://t.me/GyaanSetuAi