התיעוד שלך לא שורף לך את הטוקנים — הכלים שלך כן
אנשים שואלים אותי אם כתיבת מסמכים כמו PRDs וסקירות עיצוב (design reviews) שורפת יותר מדי טוקנים.
הם חושבים שהתהליך כבד מדי. הם חושבים שלתת ל-AI לכתוב קוד ישירות זה זול יותר.
הם טועים.
להחזיק הרבה מסמכים ושריפת הרבה טוקנים הם שני דברים שונים. מסמכים יושבים בתיקיות שלכם. הם לא שורפים טוקנים מעצמם. ההרגלים הרעים שלכם הם אלו ששורפים טוקנים.
"הרוצחים" האמיתיים של הטוקנים הם:
- ניפוח הקשר (Context bloat): אתם משאירים שיחה אחת רצה לאורך כל היום. אתם משלמים על אלפי טוקנים של היסטוריה ישנה בכל פעם שאתם שואלים שאלה חדשה.
- פרומפטים מעורפלים: אתם לא אומרים מה אתם רוצים. ה-AI מנחש. אתם מבזבזים שלושה סבבים על משהו שפרומפט ברור אחד היה יכול לעשות.
- שימוש לא נכון בכלים: אתם גורמים ל-AI לקרוא את כל ה-repo שלכם כששיניתם רק קובץ אחד.
העלות הגדולה ביותר היא עבודה חוזרת (rework).
אם לא תכתבו PRD, ה-AI עלול לפרש לא נכון את הדרישות שלכם. אז תבזבזו יותר טוקנים על כתיבה מחדש, פירוק דברים ותיקון חלקים שבורים.
PRD הוא עלות חד-פעמית. עבודה חוזרת היא חוב מצטבר.
השתמשו בשיטות האלו כדי לחסוך טוקנים במקום לוותר על תיעוד:
- צמצמו את ההקשר: נקו את היסטוריית הצ'אט לעיתים קרובות.
- חלוקת מודלים לשכבות (Tier your models): השתמשו במודלים זולים וקטנים לחיפוש וקריאה. השתמשו במודלים חזקים רק למשימות חשיבה וכתיבת קוד מורכבות.
- קראו קבצים בצורה מדויקת: הזינו ל-AI רק את מה שרלוונטי לשינוי הנוכחי.
- השתמשו ב-prompt caching: זה מפחית את העלויות שלכם משמעותית.
- השתמשו ב-token proxy: דחוסו את הפלט של פקודות שגרתיות.
- ביצוע מקבילי (Parallelize): הריצו משימות בלתי תלויות בו-זמנית כדי לצמצם את מספר ה"סבבים" (round-trips).
מסמכים הם נכסים. הם עוזרים לכם לבקר החלטות. כש-AI קורא מסמך טוב, הוא מבין את ה-"למה" מיד. זה חוסך טוקנים.
אם אתם רוצים לחסוך, תחסכו באופן שבו אתם משתמשים בכלים שלכם. אל תחסכו על ידי דילוג על התיעוד.
Source: https://dev.to/kanfu-panda/your-docs-arent-burning-your-tokens-your-tooling-is-58ck
Optional learning community: https://t.me/GyaanSetuAi