הצוות שלך לא צריך מודל AI טוב יותר השבוע
הצוות שלך לא צריך מודל AI חדש. הוא צריך תהליכי עבודה (workflows) טובים יותר.
תפסיקו לחפש את המודל הכי חדש. תתחילו לתכנן את הביצוע (engineering your execution). רוב הצוותים מתמודדים עם אותן בעיות. לולאות של סוכנים (Agent loops) קורסות באמצע משימות. פרומפטים של אישור מבלבלים אנשים. שרשראות הקשר (Context chains) נשברות במהלך ניסיונות חוזרים (retries). בני אדם מבזבזים שעות על ניקוי טעויות כי האוטומציה איבדה את המצב שלה (state).
הבעיה היא כבר לא האינטליגנציה. הבעיה היא הביצוע.
אנחנו נכנסים לעידן של "מס הניהול" (orchestration tax). אם לא תתכננו לכך, תשלמו עליו באמצעות השבתות וכשלים שקטים. תשלמו עליו כשמהנדסים "שומרים" על בוטים בשעות הלילה המאוחרות.
הפלט של ה-AI הוא לעיתים נדירות המוצר הסופי. זהו שלב ביניים במערכת גדולה יותר. הוא עוזר במיון כרטיסים (ticket triage), כתיבת טיוטות ל-PR ויצירת בדיקות.
אתם חייבים לענות על השאלות הבאות:
- האם המשימה יכולה להתחדש לאחר פקיעת זמן (timeout)?
- האם אנחנו יכולים לבצע ביקורת (audit) על מי אישר שינוי?
- האם אנחנו יכולים להריץ משימה מחדש מבלי ליצור השפעות לוואי (side effects) כפולות?
- האם בן אדם יכול לקחת פיקוד באמצע התהליך מבלי להתחיל מחדש?
מהנדסים בכירים כבר יודעים איך לפתור את זה. פתרנו את הבעיות האלו בתחומי התשלומים והתהליכים ברקע (background jobs) לפני שנים. אנחנו משתמשים במפתחות אידמפוטנטיות (idempotency keys), נקודות בקרה (checkpoints) ויומני טרנזקציות (transaction logs). ה-AI פשוט גורם לכשלים האלו לקרות מהר יותר.
איכות המודל היא רק חלק אחד מהמשוואה. מודל נהדר על תהליך עבודה שבור יוצר כאוס. מודל סביר על תהליך עבודה חסון (robust) יוצר ערך.
בנו ספר חוקים (playbook) מעשי במקום לרדוף אחרי "תחושות" (vibes):
חלקו את עבודת ה-AI לשלבים מפורשים. השתמשו בשלבים כמו
collect_context,propose_change, ו-run_checks. אל תתנו לפרומפט אחד ענק להריץ את כל התהליך.השתמשו במסד נתונים לצורך עמידות (durability). שמרו את סטטוס תהליך העבודה ויומני האירועים במסד נתונים כמו Postgres. אם עובד (worker) קורס, אתם משחזרים מהמצב (state) במקום מהזיכרון.
אכידו אידמפוטנטיות (idempotency). לכל פעולה שמשנה נתונים חייב להיות מפתח יציב. אם שלב רץ פעמיים, התוצאה חייבת להישאר זהה.
נהלו הרשאות באמצעות רמות (tiers). אל תבקשו אישור כל הזמן. צרו רמות למשימות לקריאה בלבד, כתיבות בסיכון נמוך ושינויים בעלי השפעה גבוהה.
עקבו אחר מדדים תפעוליים. הפסיקו לעקוב רק אחרי שיהוי (latency) ועלות. עקבו אחר שיעורי הצלחה של ניסיונות חוזרים, נקודות התערבות אנושית ותדירות ביטולים (rollback).
צוותי ה-AI הטובים ביותר לא יתרברבו בסוכנים אוטונומיים. הם יבנו צינורות עבודה (pipelines) עמידים וניתנים לצפייה (observable). הכוח שלהם לא יהיה פרומפטים קסמים. הוא יהיה הנדסת מערכות ממושמעת.
מודלים הופכים לחכמים יותר בכל חודש. היתרון שלכם מגיע מבניית תהליכי עבודה שלא נכנסים לפאניקה כשדברים משתבשים.
Source: https://dev.to/chrisbuildsonline/your-team-doesnt-need-a-better-ai-model-this-week-2og7
Optional learning community: https://t.me/GyaanSetuAi