בידוד אימיילים של LLM בתהליכי עבודה אוטומטיים

כאשר סוכן LLM מתחיל לשלוח אימיילים או לאשר כרטיסים (tickets), הבעיה משתנה. זה כבר לא עוסק בשאלה אם ה-prompt שלך עובד. כעת, המערכת שלך נשענת על שלוש שכבות: החלטה, ביצוע ואימות.

אם תערבבו בין השכבות הללו, הצוות שלכם יתקשה להבין מה הסוכן באמת עשה.

שלב האימייל נראה לעיתים קרובות כמו סוף של תהליך עבודה (workflow). במציאות, זה המקום שבו הכשלים מופיעים ראשונים. סוכן עשוי לסווג בקשה בצורה נכונה אך לשלוח אותה לאדם הלא נכון או להשתמש בקישור שפג תוקפו. עליכם לבודד בדיקות ו-traces.

עיצוב יציב אינו מנסה לבדוק אינטליגנציה בבת אחת. במקום זאת, חלקו את המערכת שלכם לחוזים (contracts) קטנים:

  • חוזה קלט (Input Contract): הגדירו אילו נתונים הסוכן משתמש בהם ואילו פעולות הוא יכול לבקש.
  • חוזה ביצוע (Execution Contract): הגדירו כיצד פעולה הופכת לאימייל ספציפי.
  • חוזה נראות (Observability Contract): קשרו לוגים (logs), הודעות שהתקבלו ואת מצב המערכת הסופי.

שמרו את לוגיקת האימייל מחוץ ל-prompt החופשי. ה-LLM יכול להציע פעולה כמו "send_followup_email". עם זאת, המודל לא צריך להחליט על הכותרות (headers), הנמענים או מדיניות הניסיונות החוזרים (retry policies). השתמשו בקוד דטרמיניסטי עבור תרגומים אלו.

גישה זו מפחיתה סיכון תפעולי. ה-LLM מציע, המערכת מאמתת, והמבצע (executor) שולח.

כדי לשמור על נראות ברורה, עקבו אחר ארבעת האותות הללו:

  • ההחלטה שהתקבלה על ידי הסוכן וההקשר (context) ששימש אותה.
  • הפקודה הסופית שנשלחה למבצע האימייל.
  • ההודעה שהתקבלה בתיבת דואר נפרדת (isolated inbox).
  • ההשפעה הסופית לאחר לחיצה על קישור או אישור פעולה.

השתמשו ב-trace_id משותף מהאירוע הראשוני ועד הלחיצה הסופית. זה עוזר לכם למצוא שגיאות במהירות. תדעו אם הכשל קרה במודל, במדיניות הכלי (tool policy) או בעובד (worker).

עקבו אחר רשימת הבדיקה (checklist) הזו לאוטומציה טובה יותר:

  • לכל ביצוע יש trace_id משלו.
  • ה-LLM מבקש פעולות רק במסגרת סכימה (schema) תקפה.
  • מבצע האימייל מבצע אימות מחדש לנמען ולתבנית (template).
  • כל תרחיש בדיקה משתמש בתיבת דואר נפרדת משלו.
  • הלחיצה הסופית מאשרת את שינוי המצב המצופה.
  • לוגים מאפשרים לכם לעקוב אחר המקרה ללא ניחושים.

הפרדת השלבים הללו מוסיפה מעט עבודה. אך היא מעניקה לכם משהו בעל ערך: את היכולת להסביר מדוע אימייל נשלח או מדוע הוא נכשל.

Source: https://dev.to/silviutech/como-aislar-emails-de-agentes-llm-en-flujos-automatizados-sin-perder-trazabilidad-26ac

Optional learning community: https://t.me/GyaanSetuAi