ओपन-सोर्स LLM एजेंट्स और लोकल AI कोपायलट्स

अब आप अपने स्वयं के हार्डवेयर पर जटिल AI सिस्टम बना सकते हैं। लोकल AI अब साधारण चैट से आगे बढ़ रहा है। नए ओपन-सोर्स टूल्स आपको महंगे क्लाउड APIs के बिना एजेंट और विश्लेषण सिस्टम चलाने की अनुमति देते हैं।

लोकल AI क्षेत्र में तीन प्रमुख अपडेट यहाँ दिए गए हैं:

  • ByteDance DeerFlow यह स्वायत्त एजेंट बनाने के लिए एक फ्रेमवर्क है। यह रिसर्च और कोडिंग जैसे लंबे कार्यों को संभालने के लिए सैंडबॉक्स, मेमोरी और सब-एजेंट्स का उपयोग करता है। यह आपके अपने GPU पर लोकल मॉडल्स का उपयोग करके परिष्कृत एजेंट वर्कफ़्लो चलाने के लिए आवश्यक संरचना प्रदान करता है।

  • Self-Hosted Stock Analysis यह GitHub प्रोजेक्ट मल्टी-मार्केट स्टॉक्स का विश्लेषण करने के लिए LLMs का उपयोग करता है। यह निर्णय डैशबोर्ड बनाने के लिए रीयल-टाइम समाचार और मार्केट डेटा प्राप्त करता है। चूंकि यह सेल्फ-होस्टेड है, इसलिए आप लोकल इन्फरेंस और क्वांटाइजेशन का उपयोग करके इसे मुफ्त में चला सकते हैं। यह वित्तीय डेटा के साथ ओपन मॉडल्स का उपयोग करने के लिए एक ब्लूप्रिंट है।

  • Real-Time Desktop AI Copilots लाइव कॉल्स के लिए AI कोपायलट बनाना कठिन है। डेवलपर्स रीयल-टाइम स्पीच-टू-टेक्स्ट और LLM प्रोसेसिंग के लिए आवश्यक लेटेंसी समस्याओं को हल कर रहे हैं। इसमें मॉडल लोडिंग को ऑप्टिमाइज़ करना और कुशल इन्फरेंस इंजन का उपयोग करना शामिल है ताकि यह सुनिश्चित किया जा सके कि AI मानक डेस्कटॉप मशीनों पर तेज़ी से प्रतिक्रिया दे।

ये टूल्स दिखाते हैं कि उन्नत AI बनाने के लिए आपको भारी क्लाउड बजट की आवश्यकता नहीं है। आपको केवल सही ओपन-सोर्स फ्रेमवर्क और ऑप्टिमाइज़्ड लोकल मॉडल्स की आवश्यकता है।

स्रोत: https://dev.to/soytuber/open-source-llm-agents-local-ai-copilots-deerflow-stock-analysis-desktop-inference-508f

वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi