בניית HoneyDrunk.Lore: ה-Wiki של ה-LLM שלי ודיווח החדשות היומי שלי
אני קורא יותר מדי. אני עוקב אחר עדכוני מודלים, חדשות על סוכנים (agents), פוסטים על ארכיטקטורה ומחקר אבטחה. רוב המידע הזה לא משנה כרגע. הוא יהיה חשוב מאוחר יותר.
סימניות רגילות מאכזבות אותי. הן שומרות קישורים אבל מאבדות את המשמעות. היסטוריית צ'אט שומרת את השיחה אבל מאבדת את המבנה. RAG נותן לי מקטעים (chunks) אבל גורם לי לבנות מחדש את המחשבות שלי בכל פעם.
בניתי את HoneyDrunk.Lore כדי לפתור את זה. זהו wiki של LLM עבור הסטודיו שלי. הוא הופך מידע גולמי למערכת ידע מרוכזת.
המערכת משתמשת בצינור עיבוד (pipeline) פשוט:
- מקורות גולמיים נכנסים לכספת ראיות (evidence locker).
- סוכנים (agents) קוראים אותם ומחלצים טענות.
- ה-wiki מעדכן דפי נושא ומקשר בין מושגים.
- לולאת תחזוקה מבצעת linting לנתונים כדי למצוא סתירות או פערים.
זה לא סתם ערימה של סיכומים. זהו ארטיפקט (artifact) מתוחזק.
המערכת גם מייצרת דיווח חדשות יומי (daily news blast) ל-Discord. היא בוחרת את 10 סיפורי הרשת המובילים ואת 10 הפוסטים המובילים ברשתות החברתיות. כל פריט כולל:
- סיכום קצר.
- ה-URL המקורי.
- זווית ספציפית על הסיבה לכך שזה חשוב לעבודה שלי.
אני מתייחס לרשתות חברתיות כאל אות מוקדם בלבד. ציוץ עשוי לדווח על השקה ראשון. אבל ה-wiki מחכה לפוסט רשמי בבלוג או לתיעוד לפני שהוא מתייחס למידע הזה כעובדה יציבה. זה מפריד בין "ראיתי משהו" לבין "ה-wiki יודע משהו".
Lore אינו זיכרון של סוכן (agent memory). הוא אינו ממשל (governance). הוא תמיכה בקבלת החלטות מבוססת מקורות. אם ה-wiki מציג טענה, הוא חייב להצביע על המקור ולהראות את רמת הביטחון שלו.
חיפוש שואל אם אתה יכול למצוא משהו. Lore שואל אם הדבר הזה כבר עובד (digested) לתוך מה שאתה כבר יודע. אחד מבצע שליפה (retrieval). השני יוצר צבירה (compounds).
אני בונה את זה לטווח הארוך. אני רוצה מערכת שנשארת "חמה" בין סשנים וגדלה ככל שאני לומד.
Source: https://dev.to/tatted_dev/building-honeydrunklore-my-llm-wiki-and-daily-news-blast-2pfl
Optional learning community: https://t.me/GyaanSetuAi