שמתי סוכן AI מול 20 שנות כרטיסי תמיכה
יש לנו מערכת helpdesk עם מיליון כרטיסים. יש לנו 2,400 מדריכים ושני בסיסי קוד עצומים.
כשמפתח שואל אם פתרנו בעיה בעבר, התשובה היא תמיד כן. הנתונים פשוט קבורים. אנשי צוות בכירים מבזבזים שעות בחיפוש. ג'וניורים מבזבזים שבועות.
בניתי סוכן AI שישב מול כל הנתונים האלה. הוא נמצא כעת בייצור (production). הנה מה שקרה בפועל.
הנתונים לא היו החלק הקשה. לדעת איפה לחפש זה היה הקשה. לגרום לסוכן להפסיק להמציא דברים היה קשה עוד יותר.
איך זה עובד:
- סוכן אחד עם קלט בשפה טבעית.
- הוא קורא את מסד הנתונים של ה-helpdesk, כלי ניהול הפרויקטים, GitLab ו-SVN.
- הוא מבצע חיפושי וקטורים (vector searches) על פני מדריכים וכרטיסים ישנים.
- הוא יכול לייצר קבצים כמו .xlsx או .docx.
- הוא בוחר את הכלים שלו ומריץ אותם במקביל.
הארכיטקטורה פשוטה. הוא רץ בתוך קונטיינר Node נפרד מהאפליקציה הראשית. עשיתי זאת כדי לבודד תקלות (failure isolation). אם ה-AI נכשל, ה-helpdesk ממשיך לעבוד.
השיעור הכי גדול היה לגבי ה-prompt. התחלתי עם "קיר טקסט" ענק אחד. הוא היה בגודל של 40,000 טוקנים. היה קשה לתחזק אותו והסוכן איבד ריכוז.
שיניתי את הגישה שלי. פיצלתי את ה-prompt לקבצי מיומנויות (skill files) קטנים.
- חיפוש כרטיסים הוא קובץ אחד.
- היסטוריית קוד היא קובץ אחר.
- ניהול פרויקטים הוא שלישי.
ה-prompt הראשי משמש כנתב (router). הוא טוען מיומנות רק כשצריך אותה. זה הפחית את כמות הטוקנים שלנו מ-40,000 ל-8,000 לבקשה. הסוכן נשאר ממוקד במשימה והקוד קל לעדכון.
הוספתי גם פרופילי משתמשים. מפתח מקבל נתיבי קוד. מנהל פרויקט מקבל סיכומי סטטוס. הסוכן יודע מי שואל בלי שיגידו לו.
זה לא מושלם. התמודדנו עם כשלים אמיתיים:
- הזיות (Hallucinations): הסוכן המציא כתובות URL מזויפות. פתרון: קיבוע תבניות מדויקות או כפיית חיפוש (lookup).
- אובדן זיכרון: הסוכן שכח כללים בצ'אטים ארוכים. פתרון: הזרקת רשימת משימות (to-do list) מובנית לכל תור (turn).
- לולאות אינסופיות: הסוכן ביצע יותר מדי קריאות לכלים. פתרון: הגדרת תקציב (budget) קשיח לכל בקשה.
- בטיחות: משתמשים ניסו להוליך אותו שולל. פתרון: אל תסתמכו על prompts לצורך בטיחות. השתמשו בפרטי גישה (credentials) לקריאה בלבד למסד הנתונים בתשתית שלכם.
העבודה האמיתית היא לולאה שבועית. אני קורא את הלוגים. אני מדרג את הסשנים. אני מכוונן את המיומנויות. אני מעדכן את הפרופילים.
אם תדלגו על הלולאה הזו, יהיה לכם דמו. אם תעשו אותה, יהיה לכם מוצר.
המטרה היא לא רק תשובות מהירות יותר. המטרה היא לשמור על הידע המוסדי בתוך הארגון. כשמישהו עוזב, הידע שלו נשאר בתמלולים.
סיכום לבנייה שלכם:
- התחילו עם RAG על ההיסטוריה שלכם.
- השתמשו בקבצי מיומנויות בטעינה עצלה (lazy-loaded) במקום ב-prompt אחד גדול.
- השתמשו בפרופילי משתמשים להקשר מותאם אישית.
- בודדו את ה-AI בקונטיינר משלו.
- אכידו בטיחות דרך התשתית, לא דרך הוראות.
- קראו את הלוגים שלכם בכל שבוע.
קהילת למידה אופציונלית: https://t.me/GyaanSetuAi