OpenAI חוזה כשלים במודלים באמצעות צ'אטים מהעבר

OpenAI מצאה דרך לחזות מתי מודל יכשל. הם עושים זאת על ידי הרצה מחדש של צ'אטים ישנים של משתמשים.

שיטה זו מוצאת דפוסי שגיאות ביומני רישום (logs) היסטוריים. היא אינה זקוקה לנתונים מתויגים חדשים. זה הופך את בדיקות הבטיחות למהירות וזולות יותר.

איך זה עובד:

  • המערכת מריצה מחדש שיחות עבר אמיתיות דרך המודל.
  • היא מחפשת עקבות של טעויות קודמות.
  • היא מחפשת אי-הבנות חוזרות או מקרי קצה (edge cases).
  • היא מזהה היכן המודל סוטה ממתן תשובות נכונות.

בדיקות מסורתיות מפספסות לעיתים קרובות שגיאות נדירות. הגישה החדשה הזו משתמשת בהתנהגות משתמשים אמיתית כדי למצוא את הפערים הללו. היא מסתמכת על נתונים קיימים במקום ליצור מקרי בוחן (test cases) מזויפים.

מגבלות נוכחיות: OpenAI טרם שיתפה מספרים ספציפיים. איננו יודעים מהם שיעורי השגיאות או ציוני הבנצ'מרק (benchmark). אנחנו גם לא יודעים אם זה יעבוד עבור מודלים עתידיים כמו GPT-5.

מה כדאי לעקוב אחריו: יש להמתין לדו"ח טכני או למאמר ב-arXiv. יש לחפש את המתאם בין הכשלים החזויים לבין שגיאות פריסה (deployment) בפועל. זה יראה אם השיטה עובדת בקנה מידה רחב.

מקור: https://dev.to/gentic_news/openai-can-predict-model-failures-via-past-chat-replay-2hej

קהילת למידה אופציונלית: https://t.me/GyaanSetuAi