𝗦𝗲𝗹𝗳-𝗛𝗼𝘀𝘁𝗶𝗻𝗴 𝗔𝗜 𝘄𝗶𝘁𝗵 𝗝𝗲𝘁𝘀𝗼𝗻 𝗢𝗿𝗶𝗻 𝗡𝗮𝗻𝗼 𝗮𝗻𝗱 𝗢𝗹𝗹𝗮𝗺𝗮

क्लाउड AI सर्व्हर्स महाग असतात.

क्लाउड सेवांना स्थानिक एजंट्सशी (local agents) जोडल्यामुळे अडचणी निर्माण होतात. माझी Govend आणि Flippy ही ॲप्स तयार करताना मला या समस्येचा सामना करावा लागला.

मला चॅट इंटरफेस आणि फ्लॅशकार्ड जनरेशनसाठी Ollama वापरायचे होते. मला क्लाउड सर्व्हर्ससाठी मासिक शुल्क भरायचे नव्हते. मला एक स्थानिक (local) उपाय हवा होता.

मी Nvidia Jetson Orin Nano निवडले. ते लहान AI मॉडेल्स कार्यक्षमतेने हाताळते. हे वारंवार येणाऱ्या बिलांऐवजी एकदाच येणारा खर्च आहे.

सेटअप करणे सोपे नव्हते. मी काही कठीण धडे शिकलो:

• SD कार्ड्स टाळा. त्याऐवजी NVMe हार्ड ड्राइव्ह वापरा. • तुमच्या मॉनिटरच्या वेळेकडे लक्ष द्या. बूटिंग दरम्यान माझी स्क्रीन स्लीप मोडमध्ये जात होती. मॉनिटर खूप लवकर हायबरनेट झाल्यामुळे मी महत्त्वाचे इनपुट प्रॉम्प्ट्स मिस केले. • हार्डवेअरमधील अडचणींसाठी तयार राहा. सिग्नल मिळवण्यासाठी मला पॉवर बटन आणि Nano बूटिंग यांचा अचूक ताळमेळ बसवावा लागला.

एकदा का हार्डवेअर व्यवस्थित सुरू झाले की, खरे काम सुरू झाले. मी Heroku आणि Render सारख्या सेवांचा वापर करणे थांबवले. मी माझी ॲप्लिकेशन्स स्थानिक पातळीवर होस्ट करण्यासाठी एक सेंट्रल सर्व्हर हब तयार केले.

या बदलामुळे मला सुरक्षिततेबद्दल शिकायला मिळाले. AI वापरल्यामुळे नवीन धोके निर्माण होतात. मला माझा सेटअप कसा सुरक्षित ठेवायचा हे शिकावे लागले.

माझे हब सुरक्षित करण्यासाठी मी काय अंमलात आणले:

  • गैरवापर रोखण्यासाठी रेट लिमिटिंग (Rate limiting).
  • प्रोग्रेसिव्ह अकाउंट लॉकआउट्स (Progressive account lockouts).
  • सिक्युरिटी हेडर्स आणि कडक कंटेंट सिक्युरिटी पॉलिसीज (Content Security Policies).
  • न वापरलेले पोर्ट्स बंद करण्यासाठी सर्व्हर फायरवॉल.
  • जबाबदार खुलाशासाठी (responsible disclosure) security.txt फाईल.

माझे सर्व्हर हब पेज तयार करण्यासाठी मी Claude Code चा वापर केला. सार्वजनिक होण्यापूर्वी त्रुटी (vulnerabilities) ओळखण्यास त्याने मला मदत केली.

ही स्थानिक AI इन्फ्रास्ट्रक्चर उभारणे हा एक मोठा शिकण्याचा अनुभव होता. यामुळे माझी डेव्हलपमेंट प्रक्रिया बाह्य क्लाउडवर अवलंबून राहण्याऐवजी संपूर्ण स्टॅक स्वतःच्या मालकीचा बनली.

माझे नवीन हब येथे पहा: annavillarreal.com

स्रोत: https://dev.to/annavi11arrea1/self-hosting-experience-with-jetson-orin-nano-and-ollama-5a9c

ऐच्छिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi