החלק הקשה בסוכני AI הוא לא הביצוע, אלא התכנון

בניית סוכן AI שמבצע משימות היא קלה. בניית סוכן שמתכנן אותן בצורה נכונה היא קשה.

בניתי ממשק שורת פקודה (CLI) שבו מקלידים משפט ו-LLM מריץ פעולות בחשבונות האמיתיים שלך. אני משתמש בשני מצבים: Direct mode ומצב Plan mode.

Direct mode נועד למהירות. Plan mode נועד לבטיחות. במצב Plan mode, הסוכן מציג לך כל שלב לפני שהוא נוגע בנתונים שלך.

כך בניתי מתכנן אמין:

• פצל את המוח סוכן אחד לא יכול לבצע גם תכנון וגם ביצוע. סוכן תכנון רוצה לחשוב. סוכן ביצוע רוצה לפעול. הפרדתי ביניהם לשני סוכנים שונים עם שני system prompts שונים. זה מונע מהם להילחם זה בזה.

• תן לסוכן עיניים מתכנן שמנחש הוא מסוכן. הגרסה הראשונה שלי המציאה תוכניות המבוססות על הנחות. כעת, המתכנן משתמש בכלי read-only כדי לחקור את הנתונים שלך תחילה. הוא בוחן את שדות ה-Salesforce האמיתיים שלך לפני שהוא כותב אפילו שלב אחד.

• מילוי מראש של תשובות סוכנים שואלים לעיתים קרובות שאלות גרועות. אם הם שואלים יותר מדי, אתה קצה בביצוע העבודה במקומם. שיניתי את זה. המתכנן עדיין שואל שאלות, אך הוא מספק תשובה מומלצת. אתה רק מאשר או מכוון אותו. זה שומר על דיוק התוכנית ללא צורך בהזנת נתונים ידנית.

• העבר את ההקשר, לא רק את הרשימה אם נותנים למבצע רק רשימת שלבים, הוא מאבד את ההיגיון שמאחוריהם. גרמתי למתכנן להעביר את ההנחות והסיכונים יחד עם השלבים. המבצע יודע כעת את ה"למה" שמאחורי כל פעולה.

• סמן את הסכנה תוכנית היא בטוחה רק אם ניתן לראות את הסיכונים. המערכת שלי מסמנת פעולות הרסניות כמו מחיקה או שינוי שם. כאשר הסוכן מגיע לשלב הרסני, הוא עוצר ושואל אותך.

• השתמש בנתונים כבורר אם סוכן חושב ששלב נכשל ואתה אומר לו לנסות שוב, הוא לא רק מציית באופן עיוור. הוא בודק את נתוני הפלטפורמה בפועל. אם הנתונים מראים שהמשימה כבר בוצעה, הסוכן סומך על הנתונים יותר מאשר על טענתך.

האמת לגבי בטיחות: Plan mode לא עוצר prompt injection או משתמש שלוחץ על "approve" מבלי להסתכל. הוא מעביר את האחריות מ"סמך על המודל" ל"סמוך על האדם שיבצע בדיקה".

המבנה מספק את מעקות הבטיחות, אך הבדיקה שלך מספקת את הבטיחות הסופית.

Source: https://dev.to/abdullahsaad5/the-hard-part-of-my-ai-agent-wasnt-doing-the-work-it-was-planning-it-n0k

Optional learning community: https://t.me/GyaanSetuAi