צינור עבודה (pipeline) חצי-אוטונומי של ארבעה סוכנים יכול לצמצם הזיות (hallucinations) בניתוח נתונים חקרני (EDA) על ידי כך שהוא משאיר את מודלי השפה הגדולים (LLMs) מחוץ לחישובים המספריים ומגביל אותם לקבלת החלטות ושיקולים בלבד. העיצוב מאפשר למודל להחליט מה לבחון, בעוד שקוד רגיל, הרץ בסביבת בידוד (sandbox), מבצע את החישובים בפועל ומספק תוצאות שניתן לאמת שלב אחר שלב.
למה קריאה בודדת של LLM היא מסוכנת
מתן הנחיה (Prompting) ל-LLM "להסתכל על גיליון הנתונים הזה ולומר לי מה מעניין" מניב בלוק טקסט יחיד. המודל ממציא מספרים, מערבב בין הסקה לבין הפלט, ואינו מספק שום עקבות לאופן שבו הגיעה המסקנה. כשהוא חווה הזיה — סטטיסטיקה מומצאת או מתאם שווא — אין נקודת בקרה שתתפוס את השגיאה לפני שהיא מגיעה למשתמש.
הרעיון שמאחורי צינור עבודה חצי-אוטונומי
תהליך העבודה החדש מחלק את ה-EDA לארבעה שלבים קבועים, שכל אחד מהם מטופל על ידי סוכן משלו. הסוכנים פועלים לפי תבנית של "תכנון ואז פעולה": הם קודם כל מחליטים איזו פעולה נדרשת, ואז מעבירים את הפעולה לקוד הרץ בסביבת בידוד (sandbox) שמבצע אותה בפועל. ה-LLM לעולם אינו מבצע פעולות חשבון או מניפולציות על קבצים; הוא רק מקבל החלטות לגבי רלוונטיות.
ארבעת הסוכנים
- סוכן ניקוי נתונים (Data-cleaning agent) – בודק סוגי עמודות, מסמן ערכים חסרים, ומחליט על אסטרטגיות השלמה (imputation) או המרת סוגי נתונים.
- סוכן ניתוח עמודות (Column-analysis agent) – בוחר ויזואליזציות מתאימות (היסטוגרמות, גרפי קופסה וכו') עבור כל משתנה בהתבסס על סוג הנתונים והתפלגותם.
- סוכן ניתוח קשרים (Relationship-analysis agent) – מעריך כל זוג עמודות, בוחר אילו זוגות ראויים למבחן סטטיסטי מעמיק יותר, ומדרג אותם לפי פוטנציאל התובנה.
- סוכן כתיבת דוחות (Report-writing agent) – מתרגם את הגרפים שנוצרו ואת הסטטיסטיקות שחושבו להסברים בשפה טבעית, תוך הדגשת דפוסים ראויים לציון וסייגים.
כל שלב פועל באופן עצמאי, כך שסוכני ניתוח העמודות וניתוח הקשרים יכולים לפעול במקביל, מה שחוסך זמן בתהליך העבודה הכולל.
כיצד מצמצמים את רמת האוטונומיה
כלל הבטיחות של ה-pipeline הוא פשוט: כל קוד שהמודל כותב רץ בתוך sandbox שמבודד אותו מהמערכת המארחת. אם ההרצה נכשלת, השגיאה מוחזרת למודל, שמקבל עד שתי ניסיונות לתקן את הסקריפט לפני שהתהליך נפסק. זה מונע לולאות אינסופיות ומבטיח שהמודל לעולם לא יבצע מניפולציות ישירות על קבצים או יבצע פעולות חשבון.
מכיוון שתפקיד המודל מוגבל להחלטה על מה לחשב, המספרים בפועל מגיעים תמיד מקוד דטרמיניסטי. אם סוכן ניתוח הקשרים חושד בקשר בין "Order ID" ל-"Month", ה-sandbox מריץ פונקציית מתאם (correlation), מחזיר את הערך המדויק, ורק אז המודל יכול להגיב האם המתאם הוא ככל הנראה סיבתי או מקרי.
מה זה פותר – ומה זה עולה
הפחתת הזיות. על ידי הפרדת ההסקה מהחישוב, ה-pipeline מבטל את המקור הנפוץ ביותר לסטטיסטיקות מומצאות: המודל שמנחש מספרים במקום לאפשר לקוד לייצר אותם.
מודולריות. הוספת שלב חדש — למשל, סוכן לחיזוי סדרות עתידיות (time-series forecasting) — אינה דורשת כתיבה מחדש של כל ה-prompt. כל סוכן הוא מודול עצמאי שמתחבר לרצף הקבוע.
שיפור במהירות. הרצה במקביל של סוכנים עצמאיים מקצרת את זמן הביצוע הכולל בהשוואה לקריאת LLM מונוליטית שחייבת לבצע כל שלב באופן סדרתי.
עלות מורכבות (Complexity overhead). המחיר הוא ארכיטקטורה מורכבת יותר. צוותים צריכים לתחזק את סביבת ה-sandbox, לטפל בלולאות החזרת שגיאות ולתאם בין מספר סוכנים.
מה כדאי לעקוב אחריו בהמשך
- אינטגרציות של כלי עבודה. מסגרות עבודה (frameworks) בקוד פתוח שמבצעות הפשטה של שלב הרצת ה-sandbox עשויות להפחית את הנטל ההנדסי ולהפוך את התבנית לנגישה יותר.
- חוזים סטנדרטיים לסוכנים. ככל שיותר צוותים יאמצו צינורות עבודה מרובי-סוכנים, עשויים להופיע ממשקים משותפים לסוכני "תכנון ואז פעולה", מה שיקל על יכולת פעולה משותפת (interoperability).
הלקח המרכזי ברור: תנו ל-LLM את החופש לחשוב, לא את הכוח לחשב. על ידי הגבלת האוטונומיה שלו לשיקול דעת והעברת כל מספר דרך קוד מבודד, צינור עבודה חצי-אוטונומי ל-EDA מייצר תוצאות שניתן לבדוק, לסמוך עליהן ולשתף מבלי לחשוש ממספרים דמיוניים.
Source: https://dev.to/sraveend/agentic-but-only-semi-autonomous-designing-an-eda-pipeline-you-can-trust-4ha9
Community discussion: https://t.me/GyaanSetuAi