עלות שילוב ה-AI שלי הייתה גבוהה מדי עד ששיניתי את הגישה שלי
אהבתי את תכונת סיכום ה-AI שלי עד שהחשבונית הגיעה.
בחודש שעבר בניתי כלי לסיכום מאמרים ארוכים. השתמשתי ב-GPT-4 עם פרומפט פשוט. זה עבד בצורה מושלמת. המשתמשים אהבו את האיכות.
ואז הגיעה החשבונית. חודש אחד של שימוש עלה לי למעלה מ-$1,200. הייתי חייב לתקן את זה או לבטל את התכונה.
ניסיתי כמה דברים כדי לתקן את זה:
- עברתי ל-GPT-3.5-turbo. העלות ירדה, אך האיכות נפלה. הסיכומים הפכו לעמומים.
- ניסיתי הנדסת פרומפטים (prompt engineering). הוספת "תהיה ספציפי" לא עזרה מספיק.
- ניסיתי לצמצם את גודל הקלט באמצעות ספריות extractive. זה עזר, אך העלויות נותרו גבוהות.
הבנתי שאני משתמש בפטיש כבד כדי לתקוע מסמר קטן.
הפתרון הוא תהליך (pipeline) דו-שלבי. משלבים שתי שיטות שונות כדי לקבל את התוצאות הטובות ביותר.
שלב 1: השלב ה-Extractive השתמשו בכלי זול ומהיר כמו TextRank כדי לבחור את 5 עד 10 המשפטים המובילים מהמאמר. זה מסיר 90% מהטקסט העודף.
שלב 2: השלב ה-Abstractive שלחו רק את אותן כמה משפטים למודל קטן וזול כמו GPT-3.5-turbo. בקשו ממנו לשכתב את המשפטים הללו לסיכום נקי בן 3 נקודות.
הגישה הזו הפחיתה את העלויות שלי ב-80%. האיכות נשארה קרובה לזו של GPT-4 מכיוון שהמודל עיבד רק את הנתונים החשובים ביותר.
טיפים נוספים לבניית AI:
- השתמשו ב-caching. שמרו תוצאות לפי hash של המאמר כדי שלא תשלמו על אותו סיכום פעמיים.
- השתמשו בשכבות. פרקו משימות מורכבות לתתי-משימות קטנות וזולות יותר.
- הגדירו fallback. אם מאמר מורכב מדי, השתמשו במודל באיכות גבוהה כמו GPT-4 רק עבור המקרים הספציפיים הללו.
הפסיקו לשלוח בלוקים ענקיים של טקסט למודלים יקרים. צמצמו את הנתונים תחילה.
איך אתם מאזנים בין איכות ה-AI לעלות במוצרים שלכם? האם אתם משתמשים במודלים שונים למשימות שונות?