למה אני בונה את doll

גישה לבינה מלאכותית (AI) בעלת ביצועים גבוהים היא קלה כרגע. אך הגישה אינה מובטחת.

מחירים משתנים. מגבלות שימוש גדלות. ספקים מפסיקים שירותים או משנים מדיניות. אתם עלולים לאבד את סביבת ה-AI שלכם גם אם היא עבדה אתמול.

הבעיה היא לא עניין של אמון. הבעיה היא שליטה. הרציפות של ה-AI שלכם תלויה בדברים שאינם בבעלותכם.

התחלתי לבנות את doll. זוהי מערכת קוד פתוח לרציפות AI אישית.

doll אינו מודל חדש. הוא אינו מחליף כלים כמו Ollama או LM Studio. המטרה שלו היא להגן על סביבת ה-AI האישית שלכם. אתם צריכים שהנתונים שלכם יישארו שמישים גם כשהמודלים או האפליקציות משתנים.

רוב האנשים חושבים שהמודל הוא מרכז ה-AI. הוא לא. המודל הוא רק מנוע הסקה. ניתן להחליף אותו.

הליבה האמיתית היא ה-state שלכם. זה כולל:

  • זיכרון לטווח ארוך והעדפות.
  • היסטוריית שיחות ומקורות.
  • רישומי מחקר והיסטוריית פרויקטים.
  • הרשאות ומדיניות.
  • רישומי גיבוי והגירה.

מודל חדש עשוי להיות טוב יותר. מודל מקומי עשוי להיות נחוץ לפרטיות. כשאתם מחליפים מודלים, אתם לא אמורים לאבד את ההיסטוריה שלכם.

הרצה מקומית טובה לפרטיות ולעלויות. אך אפליקציות מקומיות יכולות לגרום גם לנעילה (lock-in). אם אפליקציה מפסיקה לעבוד או משנה את הפורמט שלה, אתם מאבדים את הנתונים שלכם.

doll אינו מסתמך על פורמט בודד. הוא אינו משתמש בפורמטים של ChatGPT או Ollama כסטנדרט. במקום זאת, הוא ממפה נתונים לייצוג מתועד. אם נתונים אובדים במהלך ייבוא, doll יגיד לכם.

הכלל הוא פשוט: מקומי-מלא, ענן-אופציונלי.

המערכת שלכם חייבת לעבוד ללא מפתחות API או חיבור לאינטרנט. מודלים בענן הם רק כלים אופציונליים לביצועים טובים יותר. הענן לעולם לא צריך להיות מקור האמת (source of truth) עבור הזהות, הקבצים או הזיכרון שלכם.

doll נמצא כרגע בשלב pre-alpha. הוא עדיין לא עוזר יומי. אני בונה את הגבולות לפני שאחבר את המודלים.

אני מתמקד ב:

  • הפרדת זיכרון מסודות.
  • מניעת דליפת סודות ביומנים (logs).
  • הבחנה בין עובדות להסקות.
  • תיעוד המקור ממנו מגיע המידע.
  • דרישת אישור משתמש למשימות בסיכון גבוה.

אני רוצה להגדיר מה חייב לשרוד כשהטכנולוגיה משתנה.

אם אתם מפתחים, אני זקוק לביקורת שלכם יותר מאשר לתמיכה שלכם.

  • היכן מסתיים מצב המשתמש ומתחיל מצב המודל?
  • איזה מידע הולך לאיבוד במעבר בין כלי בינה מלאכותית?
  • האם מערכת יכולה באמת להתאושש אם המכונה הראשית נעלמת?
  • האם doll עלול להפוך לצורה חדשה של lock-in?

אתר הפרויקט: https://doll.badjoke-lab.com/

קוד מקור: https://github.com/badjoke-lab/doll

המאמר המלא: https://dev.to/badjoke-lab/why-im-building-doll-a-personal-ai-continuity-system-1a1c

קהילת למידה אופציונלית: https://t.me/GyaanSetuAi