Self-Hosting AI dengan Jetson Orin Nano dan Ollama

Server AI berbasis cloud sangat mahal.

Menghubungkan layanan cloud ke agen lokal menimbulkan hambatan. Saya menghadapi masalah ini saat membangun aplikasi saya, Govend dan Flippy.

Saya ingin menggunakan Ollama untuk menjalankan antarmuka chat dan pembuatan flashcard. Saya tidak ingin membayar biaya bulanan untuk server cloud. Saya menginginkan solusi lokal.

Saya memilih Nvidia Jetson Orin Nano. Perangkat ini menangani model AI kecil secara efisien. Ini adalah biaya satu kali, bukan tagihan rutin.

Pengaturannya tidak mudah. Saya mempelajari beberapa pelajaran berharga:

• Hindari kartu SD. Gunakan hard drive NVMe sebagai gantinya. • Perhatikan waktu monitor Anda. Layar saya mati saat proses booting. Saya melewatkan perintah input yang krusial karena monitor masuk ke mode hibernasi terlalu cepat. • Bersiaplah untuk kendala perangkat keras. Saya harus menyinkronkan tombol daya dan booting Nano dengan sempurna untuk mendapatkan sinyal.

Setelah perangkat kerasnya berfungsi, pekerjaan sebenarnya dimulai. Saya beralih dari layanan seperti Heroku dan Render. Saya membangun hub server pusat untuk menghosting aplikasi saya secara lokal.

Transisi ini mengajarkan saya tentang keamanan. Menggunakan AI menghadirkan risiko baru. Saya harus belajar cara melindungi pengaturan saya.

Apa yang saya terapkan untuk mengamankan hub saya:

  • Pembatasan laju (rate limiting) untuk mencegah penyalahgunaan.
  • Penguncian akun secara progresif.
  • Header keamanan dan Kebijakan Keamanan Konten (Content Security Policies) yang ketat.
  • Firewall server untuk menutup port yang tidak digunakan.
  • File security.txt untuk pengungkapan yang bertanggung jawab (responsible disclosure).

Saya menggunakan Claude Code untuk membantu membangun halaman hub server saya. Ini membantu saya mengidentifikasi kerentanan sebelum saya meluncurkannya ke publik.

Membangun infrastruktur AI lokal ini adalah pengalaman belajar yang luar biasa. Hal ini mengubah proses pengembangan saya dari yang tadinya bergantung pada cloud eksternal menjadi memiliki seluruh stack saya sendiri.

Lihat hub baru saya di sini: annavillarreal.com

Sumber: https://dev.to/annavi11arrea1/self-hosting-experience-with-jetson-orin-nano-and-ollama-5a9c

Komunitas pembelajaran opsional: https://t.me/GyaanSetuAi