Jetson Orin Nano এবং Ollama দিয়ে সেলফ-হোস্টিং AI

ক্লাউড AI সার্ভারগুলো বেশ ব্যয়বহুল।

ক্লাউড সার্ভিসগুলোকে লোকাল এজেন্টগুলোর সাথে যুক্ত করা বেশ জটিলতা তৈরি করে। আমার অ্যাপ, Govend এবং Flippy তৈরির সময় আমি এই সমস্যার সম্মুখীন হয়েছিলাম।

আমি চ্যাট ইন্টারফেস এবং ফ্ল্যাশকার্ড তৈরির কাজে Ollama ব্যবহার করতে চেয়েছিলাম। আমি ক্লাউড সার্ভারের জন্য মাসিক ফি দিতে চাইনি। আমি একটি লোকাল সমাধান চেয়েছিলাম।

আমি Nvidia Jetson Orin Nano বেছে নিয়েছি। এটি ছোট AI মডেলগুলোকে দক্ষতার সাথে পরিচালনা করতে পারে। এটি বারবার বিল দেওয়ার পরিবর্তে একবারের একটি খরচ।

সেটআপ করা সহজ ছিল না। আমি বেশ কিছু কঠিন শিক্ষা পেয়েছি:

• SD কার্ড এড়িয়ে চলুন। পরিবর্তে একটি NVMe হার্ড ড্রাইভ ব্যবহার করুন। • আপনার মনিটরের টাইমিংয়ের দিকে খেয়াল রাখুন। বুট হওয়ার সময় আমার স্ক্রিন স্লিপ মোডে চলে যাচ্ছিল। মনিটর খুব দ্রুত হাইবারনেট হয়ে যাওয়ার কারণে আমি গুরুত্বপূর্ণ ইনপুট প্রম্পটগুলো মিস করেছিলাম। • হার্ডওয়্যারের জটিলতার জন্য প্রস্তুত থাকুন। সিগন্যাল পাওয়ার জন্য আমাকে পাওয়ার বাটন এবং Nano-এর বুট প্রসেস নিখুঁতভাবে সিঙ্ক করতে হয়েছিল।

হার্ডওয়্যার কাজ করা শুরু করার পর আসল কাজ শুরু হলো। আমি Heroku এবং Render-এর মতো সার্ভিসগুলো থেকে সরে এলাম। আমি আমার অ্যাপ্লিকেশনগুলো লোকালি হোস্ট করার জন্য একটি সেন্ট্রাল সার্ভার হাব তৈরি করেছি।

এই পরিবর্তন আমাকে নিরাপত্তা সম্পর্কে শিখিয়েছে। AI ব্যবহার করা নতুন কিছু ঝুঁকি নিয়ে আসে। আমাকে শিখতে হয়েছে কীভাবে আমার সেটআপ সুরক্ষিত রাখতে হয়।

আমার হাব সুরক্ষিত করতে আমি যা যা বাস্তবায়ন করেছি:

  • অপব্যবহার রোধ করতে রেট লিমিটিং (Rate limiting)।
  • প্রোগ্রেসিভ অ্যাকাউন্ট লকআউট।
  • সিকিউরিটি হেডার এবং কঠোর Content Security Policies।
  • অব্যবহৃত পোর্টগুলো বন্ধ করতে একটি সার্ভার ফায়ারওয়াল।
  • দায়িত্বশীল ডিসক্লোজারের (responsible disclosure) জন্য একটি security.txt ফাইল।

আমার সার্ভার হাব পেজটি তৈরি করতে আমি Claude Code ব্যবহার করেছি। এটি পাবলিক হওয়ার আগেই দুর্বলতাগুলো শনাক্ত করতে আমাকে সাহায্য করেছে।

এই লোকাল AI ইনফ্রাস্ট্রাকচার তৈরি করা ছিল একটি বিশাল শেখার অভিজ্ঞতা। এটি আমার ডেভেলপমেন্ট প্রসেসকে এক্সটার্নাল ক্লাউডের ওপর নির্ভরতা থেকে সরিয়ে সম্পূর্ণ স্ট্যাকের মালিকানা নেওয়ার দিকে নিয়ে গেছে।

আমার নতুন হাবটি এখানে দেখুন: annavillarreal.com

উৎস: https://dev.to/annavi11arrea1/self-hosting-experience-with-jetson-orin-nano-and-ollama-5a9c

ঐচ্ছিক লার্নিং কমিউনিটি: https://t.me/GyaanSetuAi