KMM v0.0.2: AI Agent Knowledge Pipelines तयार करणे
मोठ्या context windows मुळे सर्व समस्या सुटत नाहीत.
जर तुमचा AI Agent प्रत्येक चॅट शून्यापासून सुरू करत असेल, तर तुमची एक समस्या आहे. तो कालचे संशोधन, गेल्या आठवड्यातील PDFs आणि गेल्या महिन्याचे competitor analysis विसरतो.
बहुतेक लोक RAG आणि vector databases वापरून हे सुधारण्याचा प्रयत्न करतात. ते अपयशी ठरतात कारण ते सिस्टममध्ये कमी दर्जाचा डेटा टाकतात. समस्या तुम्ही कसे शोधता यात नाही, तर समस्या तुम्ही डेटा कसा गोळा करता यात आहे.
Knowledge-and-Memory-Management (KMM) v0.0.2 ही डेटा संकलित करण्याची (intake) प्रक्रिया सुधारते. हे ४० पेक्षा जास्त collection tools व्यवस्थापित करण्यासाठी एक framework प्रदान करते.
KMM टूल्सना चार श्रेणींमध्ये विभागते:
• Web: एक्सट्रॅक्शनसाठी ६ इंजिन्स, ज्यामध्ये Cloudflare आणि Chrome DevTools automation बायपास करण्यासाठी साधने समाविष्ट आहेत. • Video: metadata, subtitles आणि ASR साठी ८ टूल्स. यामध्ये transcription साठी yt-dlp आणि Whisper समाविष्ट आहेत. • Content: RSS, blogs आणि news aggregators सारखे १०+ स्रोत. • Documents: high-precision OCR वापरून PDF, PPT आणि Word साठी पूर्ण सपोर्ट.
ही केवळ स्क्रिप्ट्सची यादी नाही. ही एक पाच-टप्प्यांची pipeline आहे: Collect → Analyze → Note → Graph → Cloud.
एक मुख्य वैशिष्ट्य म्हणजे AugmentedSearch logic. हे तुमच्या Agent ला खोटे बोलण्यापासून रोखते.
ही सिस्टम प्रथम तुमच्या स्थानिक (local) नोट्स शोधते. जर स्थानिक मॅच स्कोअर तुमच्या threshold नुसार असेल, तर ती निकाल देते. जर स्कोअर खूप कमी असेल, तर ती वेब सर्च सुरू करते. ती वेब रिझल्ट्सना स्पष्टपणे "source: web" असे मार्क करते. यामुळे Agent वेब रिझल्ट्स तुमचे स्वतःचे खाजगी ज्ञान असल्याचे भासवण्यापासून थांबतो.
NoteGenerator एक स्पष्ट मार्ग अवलंबते:
- collectors द्वारे कच्चा माल (raw material) गोळा करणे.
- युक्तिवाद (arguments), डेटा आणि कालरेषा (timelines) स्ट्रक्चर करण्यासाठी LLM वापरणे.
- स्थानिक Markdown नोट्समध्ये लिहिणे.
- डेटाला knowledge graph मध्ये मॅप करणे.
- rclone द्वारे OneDrive सारख्या क्लाउड स्टोरेजवर सिंक करणे.
तुम्ही PDF ला देखील वापरण्यायोग्य skill मध्ये रूपांतरित करू शकता. refine_pdf टूल डॉक्युमेंटचे आपोआप स्ट्रक्चर्ड नोट आणि AI skill मध्ये रूपांतर करते.
जर तुमचा Agent तुम्ही सांगितलेल्या गोष्टी वारंवार विसरत असेल, तर नवीन डेटाबेस खरेदी करू नका. एक चांगली collection pipeline तयार करा. KMM नेमके तेच करण्यासाठी orchestration framework प्रदान करते.
वैकल्पिक शिक्षण समुदाय: https://t.me/GyaanSetuAi