הנדסת פרומפטים לנתונים סינתטיים
שימוש ב-LLMs ליצירת נתונים סינתטיים הוא אסטרטגיה פופולרית עבור צוותי QA. ניתן לייצר מאות רשומות מורכבות תוך שניות.
אך פרומפטים גנריים מובילים למלכודת. אם תבקשו מ-LLM "לייצר 50 משתמשי בדיקה", הוא יספק לכם נתונים צפויים וחזרתיים. זה יוצר תחושת כיסוי שגויה. אתם מקבלים רשומות רבות שבודקות רק את ה-"happy path" (הנתיב התקין), תוך התעלמות ממקרי קצה קריטיים ומלוגיקה עסקית.
כדי לתקן זאת, עליכם לעבור מתפקיד של "מבקשים" לתפקיד של "מתזמרים" (orchestrators). עליכם ליישם עקרונות בדיקה ישירות על הנדסת הפרומפטים שלכם.
השתמשו בשלוש התבניות הללו כדי לשפר את איכות הנתונים שלכם:
- חלוקה למקבצי שקילות (Equivalence Partitioning) וניתוח ערכי קצה (Boundary Value Analysis) במקום לבקש נתונים, אילוצו את ה-LLM למפות תחילה מחלקות בדיקה. השתמשו בשיטת Chain-of-Thought prompting.
- הגדירו את התפקיד שלכם כ-Senior QA Engineer.
- ספקו כללים עסקיים ספציפיים (למשל, מגבלות קופון או סכום רכישה מינימלי).
- הנחו את ה-LLM לרשום את כל מחלקות השקילות התקפות והלא-תקפות בטבלה.
- דרשו בדיוק JSON payload אחד עבור כל תרחיש שזוהה.
זה מבטיח שתבדקו נקודות מעבר מדויקות, כמו $99.99 לעומת $100.00, מבלי לבזבז מקום על רשומות מיותרות.
- בדיקת מעבר מצבים (State Transition Testing) עבור מערכות כמו תהליכי תשלום או ניהול הזמנות, הנתונים חייבים לשקף שלבים שונים במחזור החיים.
- ספקו רשימה של כל המצבים האפשריים (למשל
מהירות ה-AI מספקת ערך רק אם הנתונים שלך מכוונים. תפקידך כאיש QA מקצועי הוא לקודד את המגבלות השולטות במודלים הגנרטיביים הללו.
קהילת למידה אופציונלית: https://t.me/GyaanSetuAi