המודל הוא לא המוצר. הנה מה שבאמת כן.
אני מבלה את זמני בבנייה ובשיחות עם מהנדסים שמשחררים AI. קיים פער בין הדגמות (demos) לבין מערכות ייצור (production) אמיתיות. אנשים רבים אינם כנים לגבי הפער הזה.
כולם קוראים לכל דבר "סוכן" (agent). סקריפט עם לולאה הוא סוכן. צ'אטבוט עם זיכרון הוא סוכן. זה גורם לטעויות הנדסיות. אתם מבצעים הנדסת יתר (over-engineering) למשימות פשוטות ומתכננים בצורה שטחית מדי (under-engineering) משימות מורכבות.
סוכן זקוק למטרה. הוא לא רק מורד אחר הוראה. סוכן מחליט מה לעשות בהמשך. הוא מטפל בכשלים. הוא יודע מתי הוא סיים.
- אם בן אדם אומר למערכת שלכם כל שלב, זהו ממשק צ'אט.
- אם המערכת שלכם מתאוששת מכישלון בקריאה לכלי (tool call), אתם בונים סוכן.
- אם המערכת שלכם מפרקת מטרה לתתי-משימות, זהו סוכן אמיתי.
פריסות (deployments) של סוכנים אמיתיים הן צרות וממוקדות. הן עושות דבר אחד היטב, כמו חילוץ מסמכים או סקירת קוד. צוותים מצליחים לא רודפים אחרי מודלים חדשים. הם מתמקדים בשלושת התחומים הללו:
- עיצוב כלים (Tool design): כמה נקי הממשק?
- טיפול בכשלים (Failure handling): מה קורה כשכלי לא מחזיר דבר?
- יכולת תצפית (Observability): האם אתם יכולים לעקוב אחרי הסיבה שבגללה הסוכן קיבל החלטה?
פריימוורקים כמו LangChain או CrewAI חשובים פחות מאשר תבניות (patterns). הפריימוורק הוא הפיגום. הארכיטקטורה היא הבניין.
השתמשו בתבניות הללו:
- תכנון ואז ביצוע. השתמשו בשלב אחד לתכנון ובשלב נפרד לביצוע.
- הפרדה בין שליפה (retrieval) לבין הסקה (reasoning). הבאת הקשר (context) ושימוש בהקשר הן משימות שונות.
- העברות מפורשות (Explicit handoffs). תכננו את אופן ההעברה כאשר סוכן אחד מעביר עבודה לסוכן אחר.
RAG הוא סטנדרט, אך ה-chunking לעיתים קרובות שגוי. אם אתם מחלקים מסמכים בצורה לא טובה, המודל מאבד הקשר ויוצר הזיות (hallucinates). אם תוצאות ה-RAG שלכם חסרות תועלת, תקנו את ה-chunking ואת המטא-דאטה. אל תאשימו את מודל ה-embedding.
המודלים ישתפרו. חלונות ההקשר (context windows) יגדלו. העלויות ירדו. זה לא משנה את האתגר ההנדסי. אתם חייבים לבנות מערכות שניתן לסמוך עליהן גם כשאתם לא עוקבים אחריהן.
התמקדו בממשל (governance), יכולת תצפית (observability) ושימוש בכלים. המהנדסים שיהיו משמעותיים הם אלו שישלטו בעיצוב מערכות, ולא רק ב-prompt engineering.
מקור: https://dev.to/aibughunter/the-model-is-not-the-product-heres-what-actually-is-52b5