KMM v0.0.2: AI Agent Knowledge Pipelines তৈরি করা
বড় context window সব সমস্যার সমাধান দেয় না।
আপনার AI Agent যদি প্রতিটি চ্যাট শূন্য থেকে শুরু করে, তবে আপনার একটি সমস্যা আছে। এটি গতকালের গবেষণা, গত সপ্তাহের PDF এবং গত মাসের প্রতিযোগী বিশ্লেষণ (competitor analysis) ভুলে যায়।
বেশিরভাগ মানুষ RAG এবং vector database ব্যবহার করে এটি সমাধান করার চেষ্টা করেন। তারা ব্যর্থ হন কারণ তারা সিস্টেমে নিম্নমানের ডেটা ইনপুট দেন। সমস্যাটি আপনি কীভাবে সার্চ করছেন তাতে নয়; সমস্যাটি হলো আপনি কীভাবে ডেটা সংগ্রহ করছেন।
Knowledge-and-Memory-Management (KMM) v0.0.2 ডেটা সংগ্রহের প্রক্রিয়াটি (intake process) ঠিক করে দেয়। এটি ৪০টিরও বেশি collection tool পরিচালনা করার জন্য একটি framework প্রদান করে।
KMM টুলগুলোকে চারটি ভাগে ভাগ করে:
• Web: এক্সট্রাকশনের জন্য ৬টি ইঞ্জিন, যার মধ্যে Cloudflare এবং Chrome DevTools automation বাইপাস করার টুল রয়েছে। • Video: metadata, subtitles এবং ASR-এর জন্য ৮টি টুল। ট্রান্সক্রিপশনের জন্য এতে yt-dlp এবং Whisper অন্তর্ভুক্ত রয়েছে। • Content: RSS, ব্লগ এবং নিউজ অ্যাগ্রিগেটরদের মতো ১০টিরও বেশি সোর্স। • Documents: উচ্চ-নির্ভুলতা সম্পন্ন OCR ব্যবহার করে PDF, PPT এবং Word-এর জন্য পূর্ণ সমর্থন।
এটি কেবল স্ক্রিপ্টের একটি তালিকা নয়। এটি একটি পাঁচ-ধাপের পাইপলাইন: Collect → Analyze → Note → Graph → Cloud।
এর একটি মূল বৈশিষ্ট্য হলো AugmentedSearch লজিক। এটি আপনার Agent-কে মিথ্যা বলা থেকে বিরত রাখে।
সিস্টেমটি প্রথমে আপনার লোকাল নোটগুলো সার্চ করে। যদি লোকাল ম্যাচ স্কোর আপনার নির্ধারিত থ্রেশহোল্ড (threshold) পূরণ করে, তবে এটি ফলাফল প্রদান করে। যদি স্কোর খুব কম হয়, তবে এটি একটি ওয়েব সার্চ শুরু করে। এটি ওয়েব রেজাল্টগুলোকে স্পষ্টভাবে "source: web" হিসেবে চিহ্নিত করে। এটি Agent-কে ওয়েব রেজাল্টগুলোকে আপনার নিজস্ব ব্যক্তিগত জ্ঞান হিসেবে দাবি করা থেকে বিরত রাখে।
NoteGenerator একটি সুনির্দিষ্ট পথ অনুসরণ করে:
- কালেক্টরদের মাধ্যমে কাঁচামাল (raw material) সংগ্রহ করা।
- আর্গুমেন্ট, ডেটা এবং টাইমলাইন সাজানোর জন্য একটি LLM ব্যবহার করা।
- লোকাল Markdown নোটগুলোতে লেখা।
- ডেটাকে একটি knowledge graph-এ ম্যাপ করা।
- rclone-এর মাধ্যমে OneDrive-এর মতো ক্লাউড স্টোরেজে সিঙ্ক করা।
আপনি এমনকি একটি PDF-কেও একটি ব্যবহারযোগ্য স্কিল (skill)-এ রূপান্তর করতে পারেন। refine_pdf টুলটি স্বয়ংক্রিয়ভাবে একটি ডকুমেন্টকে একটি স্ট্রাকচার্ড নোট এবং একটি AI skill-এ রূপান্তর করে।
আপনার Agent যদি আপনার বলা কথা ভুলে যেতে থাকে, তবে নতুন কোনো ডেটাবেস কিনবেন না। বরং একটি উন্নত কালেকশন পাইপলাইন তৈরি করুন। KMM ঠিক সেটিই করার জন্য একটি orchestration framework প্রদান করে।
ঐচ্ছিক লার্নিং কমিউনিটি: https://t.me/GyaanSetuAi