הנדסת הקשר עבור מהנדסי פרומפטים
אומרים שהנדסת פרומפטים מתה. אומרים שהנדסת הקשר החליפה אותה. זה לא נכון.
הנדסת פרומפטים היא רק חלק אחד מהנדסת הקשר. פרומפטינג (Prompting) הוא מה שאתם אומרים. הנדסת הקשר היא כל מה שהמודל רואה. זה כולל system prompts, הגדרות כלים (tool definitions), מסמכים שנשלפו (retrieved documents) וזיכרון.
הפרומפט שלכם הוא רק חלק אחד מפאזל גדול יותר. שטח הפנים פשוט גדל.
אל תנסו להשתמש בחלונות הקשר (context windows) עצומים כדי לפתור הכל. חלון של מיליון טוקנים לא אומר מיליון טוקנים של תשומת לב (attention) מועילה. קלט רב יותר יכול למעשה לגרום למודלים לתפקד בצורה גרועה יותר.
עליכם להיזהר משתי בעיות עיקריות:
• אובדן באמצע (Lost in the middle): מודלים מתמקדים בצורה הטובה ביותר בתחילת ובסוף הפרומפט. הם מתקשים כאשר נתונים חשובים נמצאים באמצע. • ריקבון הקשר (Context rot): יכולות ההסקה והשליפה (recall) נחלשות ככל שאורך הקלט גדל. אפילו משימות פשוטות הופכות לקשות יותר עבור המודל כאשר החלון מלא.
המטרה היא למצוא את הקבוצה הקטנה ביותר של טוקנים בעלי אות גבוהה (high-signal) שמבצעים את העבודה. התייחסו לחלון ההקשר שלכם כאל תקציב.
השתמשו בששת הדפוסים הללו כדי לנהל את התקציב שלכם:
• תקצוב תשומת לב (Attention budgeting): הסירו את כל הטקסט הסטנדרטי (boilerplate