میزبانی شخصی‌شده‌ی هوش مصنوعی با Jetson Orin Nano و Ollama

سرورهای ابری هوش مصنوعی گران هستند.

اتصال سرویس‌های ابری به عامل‌های (agents) محلی باعث ایجاد اصطکاک می‌شود. من هنگام ساخت اپلیکیشن‌هایم، Govend و Flippy، با این مشکل مواجه شدم.

می‌خواستم از Ollama برای راه‌اندازی رابط‌های چت و تولید فلش‌کارت استفاده کنم. نمی‌خواستم هزینه‌های ماهانه برای سرورهای ابری بپردازم. من به دنبال یک راهکار محلی بودم.

من Nvidia Jetson Orin Nano را انتخاب کردم. این دستگاه مدل‌های کوچک هوش مصنوعی را به‌طور کارآمد مدیریت می‌کند. این یک هزینه یک‌باره است، برخلاف صورت‌حساب‌های تکرار شونده.

راه‌اندازی کار آسانی نبود. من چندین درس سخت آموختم:

• از کارت‌های SD دوری کنید. در عوض از یک درایو سخت NVMe استفاده کنید. • مراقب زمان‌بندی مانیتور خود باشید. صفحه نمایش من در حین بوت شدن به حالت خواب رفت. من دستورات ورودی حیاتی را از دست دادم چون مانیتور خیلی سریع به حالت خواب رفت. • برای اصطکاک سخت‌افزاری آماده باشید. برای دریافت سیگنال، مجبور شدم دکمه پاور و بوت شدن Nano را کاملاً با هم هماهنگ کنم.

وقتی سخت‌افزار کار کرد، کار واقعی شروع شد. من از سرویس‌هایی مانند Heroku و Render فاصله گرفتم. یک هاب سرور مرکزی ساختم تا اپلیکیشن‌هایم را به‌صورت محلی میزبانی کنم.

این انتقال، مسائل امنیتی را به من آموخت. استفاده از هوش مصنوعی ریسک‌های جدیدی را به همراه دارد. من باید یاد می‌گرفتم که چگونه از سیستم خود محافظت کنم.

آنچه برای ایمن‌سازی هاب خود پیاده‌سازی کردم:

  • محدودسازی نرخ (Rate limiting) برای جلوگیری از سوءاستفاده.
  • قفل شدن تدریجی حساب‌ها.
  • هدرهای امنیتی و سیاست‌های امنیتی محتوا (Content Security Policies) سخت‌گیرانه.
  • یک فایروال سرور برای بستن پورت‌های استفاده‌نشده.
  • یک فایل security.txt برای افشای مسئولانه (responsible disclosure).

من از Claude Code برای کمک به ساخت صفحه هاب سرورم استفاده کردم. این ابزار به من کمک کرد تا قبل از عمومی شدن، آسیب‌پذیری‌ها را شناسایی کنم.

ساخت این زیرساخت هوش مصنوعی محلی، یک تجربه یادگیری عظیم بود. این کار فرآیند توسعه من را از تکیه بر ابرهای خارجی به مالکیت کل پشته (stack) تکنولوژی‌ام تغییر داد.

هاب جدید من را اینجا ببینید: annavillarreal.com

منبع: https://dev.to/annavi11arrea1/self-hosting-experience-with-jetson-orin-nano-and-ollama-5a9c

انجمن یادگیری اختیاری: https://t.me/GyaanSetuAi