Самостоятельный хостинг ИИ с Jetson Orin Nano и Ollama

Облачные ИИ-серверы стоят дорого.

Подключение облачных сервисов к локальным агентам создает сложности. Я столкнулся с этой проблемой при разработке своих приложений, Govend и Flippy.

Я хотел использовать Ollama для работы чат-интерфейсов и генерации карточек для запоминания. Я не хотел платить ежемесячную абонентскую плату за облачные серверы. Мне нужно было локальное решение.

Я выбрал Nvidia Jetson Orin Nano. Он эффективно справляется с небольшими моделями ИИ. Это разовое вложение вместо регулярных счетов.

Настройка была непростой. Я извлек несколько тяжелых уроков:

• Избегайте SD-карт. Вместо них используйте NVMe-накопитель. • Следите за таймингами монитора. Мой экран гас во время загрузки. Я пропускал важные запросы ввода, потому что монитор слишком быстро уходил в спящий режим. • Будьте готовы к аппаратным сложностям. Мне пришлось идеально синхронизировать кнопку питания и загрузку Nano, чтобы получить сигнал.

Как только оборудование заработало, началась настоящая работа. Я отказался от таких сервисов, как Heroku и Render. Я создал центральный серверный хаб для локального хостинга своих приложений.

Этот переход научил меня вопросам безопасности. Использование ИИ несет в себе новые риски. Мне пришлось учиться защищать свою систему.

Что я внедрил для защиты своего хаба:

  • Ограничение частоты запросов (rate limiting) для предотвращения злоупотреблений.
  • Прогрессивная блокировка аккаунтов.
  • Заголовки безопасности и строгие политики безопасности контента (Content Security Policies).
  • Серверный брандмауэр для закрытия неиспользуемых портов.
  • Файл security.txt для ответственного разглашения уязвимостей.

Я использовал Claude Code, чтобы помочь в создании страницы моего серверного хаба. Это помогло мне выявить уязвимости до того, как я сделал проект публичным.

Создание этой локальной ИИ-инфраструктуры стало огромным опытом обучения. Это изменило мой процесс разработки: вместо зависимости от внешних облаков я стал владельцем всего своего стека.

Посмотрите мой новый хаб здесь: annavillarreal.com

Источник: https://dev.to/annavi11arrea1/self-hosting-experience-with-jetson-orin-nano-and-ollama-5a9c

Дополнительное обучающее сообщество: https://t.me/GyaanSetuAi