The Agent Runtime Event Model
תפסיקו להתווכח על מסגרות עבודה (frameworks) לסוכנים.
מהנדסים שואלים לעיתים קרובות אם כדאי להשתמש ב-LangChain, CrewAI, או לבנות שלהם משלהם. זוהי השאלה הלא נכונה. ההחלטה האמיתית היא איפה אתם מחברים את המדיניות (policy) בתוך זמן ההרצה (runtime) של הסוכן שלכם.
מסגרות עבודה משתנות. הצורך הארכיטקטוני במדיניות נשאר זהה.
כל מחסנית (stack) של סוכן בייצור זקוקה לארבעה אירועי זמן הרצה ספציפיים כדי למנוע באגים וזליגות אבטחה:
• UserPromptSubmit: לפני שהפרומפט מגיע למודל. השתמשו בזה כדי לחסום סודות ו-PII. • PreToolUse: לפני הפעלת כלי (tool). השתמשו בזה כדי לאכוף תקציבי עלות ורשימות לבנות (whitelists) של כלים. • PostToolUse: אחרי שכלים מחזירים תוצאה. השתמשו בזה כדי לסרוק PII או מתקפות הזרקה (injection attacks). • Stop: אחרי שהסוכן מסיים. השתמשו בזה כדי לוודא שהסוכן אכן השלים את המשימה.
לכל אירוע יש תפקיד שונה.
שליחת הפרומפט חייבת להיות מהירה. היא צריכה לרוץ במילישניות כדי שהמשתמש לא ימתין. אירוע ה-Stop יכול לקחת יותר זמן. אתם יכולים להרשות לעצמכם שנייה שלמה כדי לוודא שהסוכן אכן ביצע את עבודתו לפני שהמשתמש רואה את התוצאה.
עליכם גם להחליט איך ה-hooks שלכם נכשלים.
אם hook של אבטחה קורס, עליכם לבצע fail closed. עדיף לדחות בקשה מאשר להדליף סוד. אם בדיקת איכות קורסת, אולי תבחרו ב-fail open כדי שהמשתמש עדיין יקבל תגובה.
מסגרות עבודה הן commodity. כיסוי המדיניות שלכם הוא ה-moat שלכם.
שאלו את עצמכם את שלוש השאלות הללו לגבי המחסנית הנוכחית שלכם:
- איזה אירוע עוצר זליגת סודות בפרומפטים?
- איזה אירוע תופס סוכן שמשקר לגבי סיום משימה?
- איזה אירוע מבצע ביקורת (audit) על פלטי הכלים עבור PII לפני שהמודל קורא אותם?
אם אינכם יכולים לענות על אלה, הסוכן שלכם אינו מוכן לייצור.
מקור: https://dev.to/willianpinho/the-agent-runtime-event-model-55l9
קהילת למידה אופציונלית: https://t.me/GyaanSetuAi