𝗞𝗠𝗠 𝘃𝟬.𝟬.𝟮: 𝗔𝗜 𝗔𝗚𝗘𝗡𝗧 𝗞𝗡𝗢𝗪𝗟𝗘𝗗𝗚𝗘 𝗣𝗜𝗣𝗘𝗟𝗜𝗡𝗘𝗦 𝗡𝗜𝗥𝗠𝗜𝗡𝗖𝗛𝗔𝗗AM (BUILDING AI AGENT KNOWLEDGE PIPELINES)
పెద్ద కాంటెక్స్ట్ విండోలు (Large context windows) అన్నింటినీ పరిష్కరించలేవు.
మీ AI ఏజెంట్ ప్రతి చాట్ను సున్నా నుండి ప్రారంభిస్తే, మీకు ఒక సమస్య ఉన్నట్లే. అది నిన్నటి పరిశోధనను, గత వారం PDFలను మరియు గత నెల ప్రత్యర్థి విశ్లేషణను మర్చిపోతుంది.
చాలా మంది దీనిని RAG మరియు వెక్టర్ డేటాబేస్లతో (vector databases) సరిచేయడానికి ప్రయత్నిస్తారు. కానీ వారు సిస్టమ్లోకి తక్కువ నాణ్యత గల డేటాను పంపడం వల్ల విఫలమవుతారు. సమస్య మీరు ఎలా వెతుకుతున్నారు అనే దానిలో లేదు. సమస్య మీరు డేటాను ఎలా సేకరిస్తున్నారు అనే దానిలో ఉంది.
Knowledge-and-Memory-Management (KMM) v0.0.2 డేటా సేకరణ ప్రక్రియను (intake process) సరిచేస్తుంది. ఇది 40 కంటే ఎక్కువ సేకరణ సాధనాలను (collection tools) నిర్వహించడానికి ఒక ఫ్రేమ్వర్క్ను అందిస్తుంది.
KMM సాధనాలను నాలుగు వర్గాలుగా విభజిస్తుంది:
• Web: Cloudflare మరియు Chrome DevTools ఆటోమేషన్ను బైపాస్ చేసే సాధనాలతో సహా, ఎక్స్ట్రాక్షన్ కోసం 6 ఇంజన్లు. • Video: మెటాడేటా, సబ్టైటిల్స్ మరియు ASR కోసం 8 సాధనాలు. ట్రాన్స్క్రిప్షన్ కోసం yt-dlp మరియు Whisper ఇందులో ఉన్నాయి. • Content: RSS, బ్లాగులు మరియు న్యూస్ అగ్రిగేటర్ల వంటి 10+ వనరులు. • Documents: హై-ప్రిసిషన్ OCR ఉపయోగించి PDF, PPT మరియు Wordలకు పూర్తి మద్దతు.
ఇది కేవలం స్క్రిప్ట్ల జాబితా మాత్రమే కాదు. ఇది ఐదు దశల పైప్లైన్: Collect → Analyze → Note → Graph → Cloud.
దీనిలోని ఒక ముఖ్యమైన ఫీచర్ AugmentedSearch లాజిక్. ఇది మీ ఏజెంట్ మీకు అబద్ధాలు చెప్పకుండా నిరోధిస్తుంది.
ఈ సిస్టమ్ మొదట మీ లోకల్ నోట్స్ను వెతుకుతుంది. లోకల్ మ్యాచ్ స్కోర్ మీ థ్రెషోల్డ్ (threshold) స్థాయికి చేరుకుంటే, అది ఫలితాన్ని అందిస్తుంది. స్కోర్ చాలా తక్కువగా ఉంటే, అది వెబ్ సెర్చ్ను ప్రారంభిస్తుంది. ఇది వెబ్ ఫలితాలను స్పష్టంగా "source: web" అని గుర్తిస్తుంది. దీనివల్ల వెబ్ ఫలితాలు మీ స్వంత ప్రైవేట్ నాలెడ్జ్ అని ఏజెంట్ నటిస్తూ ఉండదు.
NoteGenerator ఒక స్పష్టమైన మార్గాన్ని అనుసరిస్తుంది:
- కలెక్టర్ల ద్వారా ముడి పదార్థాలను (raw material) సేకరించడం.
- వాదనలు, డేటా మరియు టైమ్లైన్లను స్ట్రక్చర్ చేయడానికి LLMని ఉపయోగించడం.
- లోకల్ Markdown నోట్స్లోకి రాయడం.
- డేటాను నాలెడ్జ్ గ్రాఫ్లోకి మ్యాప్ చేయడం.
- rclone ద్వారా OneDrive వంటి క్లౌడ్ స్టోరేజ్కు సింక్ చేయడం.
మీరు ఒక PDFని ఉపయోగకరమైన స్కిల్గా కూడా మార్చుకోవచ్చు. refine_pdf టూల్ ఒక డాక్యుమెంట్ను ఆటోమేటిక్గా స్ట్రక్చర్డ్ నోట్ మరియు AI స్కిల్గా మారుస్తుంది.
మీ ఏజెంట్ మీరు చెప్పిన వాటిని మర్చిపోతూనే ఉంటే, కొత్త డేటాబేస్ను కొనకండి. మెరుగైన సేకరణ పైప్లైన్ను నిర్మించండి. సరిగ్గా అదే చేయడానికి KMM అవసరమైన ఆర్కెస్ట్రేషన్ ఫ్రేమ్వర్క్ను అందిస్తుంది.
Optional learning community: https://t.me/GyaanSetuAi