Amazon Bedrock מאפשרת כעת למפתחים לשמור בחלקים מהפרומפט במטמון (cache), מה שמקטין את חשבונות השימוש בטוקנים בעד 90% ומצמצם את זמן התגובה (latency) בעד 85% עבור אפליקציות המשתמשות שוב בקידומת פרומפט סטטית.
למה השינוי הזה חשוב
הרצת מודלי שפה גדולים לפי דרישה עולה כסף בכל פעם שטוקנים נשלחים למודל. צ'אטבוטים, עוזרי קוד וכלי חיפוש במסמכים שולחים לעיתים קרובות שוב את אותן הוראות מערכת או חומרי ייחוס, מה שמנפח את ההוצאות ומאט את התגובות.
איך עובד ה-prompt caching
Bedrock מוסיפה דגל "cacheable" שמפתחים מצמידים לכל מקטע בפרומפט — בדרך כלל הוראות ברמת המערכת, מסמכי רקע ארוכים או הגדרות כלים שאינם משתנים במהלך הסשן. כאשר מתקבלת בקשה, Bedrock בודקת האם המקטע המסומן תואם לרשומה שמורה. אם כן, השירות מדלג על תהליך הקידוד מחדש והרצה מחדש של אותו חלק דרך המודל, ושולף במקום זאת את הייצוג שחושב מראש מהמטמון.
המספרים
- עלות טוקני קלט (Input-token cost): הפחתה של עד 90% מכיוון שהקידומת השמורה במטמון אינה צורכת עוד טוקנים בכל קריאה.
- Latency: מהיר יותר בעד 85% מכיוון שמתבצעת עקיפה של העבודה הכבדה של המודל עבור החלק הסטטי.
תרחישים המתאימים ביותר
התכונה הזו בולטת במיוחד כאשר הפרומפט מכיל בלוק גדול וקבוע, ואחריו שאילתת משתמש קצרה ומשתנה. דפוסים נפוצים כוללים:
- תהליכי Retrieval-augmented generation (RAG) שמוסיפים מסמך שנשלף בתחילת כל שאילתה.
- בוטים לתמיכת לקוחות שתמיד מתחילים באותה הצהרת מדיניות או טקסט לקביעת טון השיחה.
- עוזרי קוד שטוענים הגדרה קבועה של כלי שפה לפני קטע הקוד של המפתח.
מה מפתחים צריכים לשנות
מפתחים חייבים לסדר מחדש את הפרומפט כך שהתוכן הסטטי יופיע ממש בהתחלה ויישאר זהה בבייט-אחרי-בייט לאורך הקריאות. קלט המשתמש המשתנה מגיע לאחר הקידומת השמורה במטמון. אין צורך להחליף מודל; אותם נקודות קצה (endpoints) של Bedrock מטפלות בבקשה.
מי מרוויח ומי צריך להיזהר
היתרון חל רק על עומסי עבודה שבהם הקידומת נשארת סטטית באמת. אפליקציות שמבצעות פרסונליזציה להוראות המערכת עבור כל משתמש או משנות לעיתים קרובות את ההקשר (context) יראו תועלת מועטה, ועליהן לשקול את המורכבות הנוספת בבניית הפרומפט מול הרווחים הצנועים.
בשורה התחתונה: prompt caching מעניק למשתמשי Bedrock כלי ישיר לצמצום עלויות התפעול של ה-AI ושיפור זמני התגובה, בתנאי שהאפליקציות שלהם יכולות לבודד קידומת פרומפט ניתנת לשימוש חוזר.