HoneyDrunk.Lore का निर्माण: मेरा LLM विकी और डेली न्यूज़ ब्लास्ट

मैं बहुत ज़्यादा पढ़ता हूँ। मैं मॉडल अपडेट्स, एजेंट न्यूज़, आर्किटेक्चर पोस्ट्स और सिक्योरिटी रिसर्च को फॉलो करता हूँ। इस जानकारी में से ज़्यादातर अभी मायने नहीं रखती। यह बाद में काम आएगी।

सामान्य बुकमार्क्स मेरे काम नहीं आते। वे लिंक तो सेव कर लेते हैं लेकिन उनका अर्थ खो देते हैं। चैट हिस्ट्री बातचीत को तो सुरक्षित रखती है लेकिन उसकी संरचना (structure) खो देती है। RAG मुझे जानकारी के टुकड़े (chunks) तो देता है, लेकिन हर बार मुझे अपने विचारों को फिर से व्यवस्थित करना पड़ता है।

मैंने इसी समस्या को हल करने के लिए HoneyDrunk.Lore बनाया है। यह मेरे स्टूडियो के लिए एक LLM विकी है। यह कच्ची जानकारी (raw information) को एक संकलित ज्ञान प्रणाली (compiled knowledge system) में बदल देता है।

यह सिस्टम एक सरल पाइपलाइन का उपयोग करता है:

  • कच्चे स्रोत (raw sources) एक एविडेंस लॉकर (evidence locker) में जमा होते हैं।
  • एजेंट उन्हें पढ़ते हैं और दावों (claims) को निकालते हैं।
  • विकी टॉपिक पेजों को अपडेट करता है और अवधारणाओं (concepts) को आपस में जोड़ता है।
  • एक मेंटेनेंस लूप डेटा की जांच (lint) करता है ताकि विरोधाभासों या कमियों का पता लगाया जा सके।

यह केवल सारांशों का ढेर नहीं है। यह एक व्यवस्थित आर्टिफैक्ट (maintained artifact) है।

यह सिस्टम Discord के लिए एक डेली न्यूज़ ब्लास्ट भी तैयार करता है। यह टॉप 10 वेब स्टोरीज़ और टॉप 10 सोशल पोस्ट्स को चुनता है। प्रत्येक आइटम में शामिल है:

  • एक संक्षिप्त सारांश।
  • मूल URL।
  • एक विशिष्ट दृष्टिकोण कि यह मेरे काम के लिए क्यों महत्वपूर्ण है।

मैं सोशल मीडिया को केवल शुरुआती संकेत (early signal) के रूप में देखता हूँ। हो सकता है कि कोई ट्वीट किसी लॉन्च की जानकारी सबसे पहले दे दे। लेकिन विकी उस जानकारी को एक स्थायी तथ्य (durable fact) मानने से पहले आधिकारिक ब्लॉग पोस्ट या डॉक्यूमेंटेशन का इंतज़ार करता है। यह "मैंने कुछ देखा" और "विकी कुछ जानता है" के बीच अंतर पैदा करता है।

Lore एजेंट की मेमोरी नहीं है। यह गवर्नेंस भी नहीं है। यह सोर्स-आधारित निर्णय सहायता (source-backed decision support) है। यदि विकी कोई दावा करता है, तो उसे स्रोत की ओर इशारा करना चाहिए और अपने कॉन्फिडेंस लेवल को दिखाना चाहिए।

सर्च यह पूछता है कि क्या आप किसी चीज़ को ढूँढ सकते हैं। Lore यह पूछता है कि क्या उस चीज़ को आपके पहले से ज्ञात ज्ञान में समाहित (digested) कर लिया गया है। एक चीज़ को पुनः प्राप्त (retrieve) करता है। दूसरा उसे संचित (compound) करता है।

मैं इसे दीर्घकालिक (long term) के लिए बना रहा हूँ। मैं एक ऐसा सिस्टम चाहता हूँ जो सत्रों (sessions) के बीच सक्रिय रहे और जैसे-जैसे मैं सीखूँ, वैसे-वैसे विकसित होता रहे।

Source: https://dev.to/tatted_dev/building-honeydrunklore-my-llm-wiki-and-daily-news-blast-2pfl

Optional learning community: https://t.me/GyaanSetuAi