Припиніть завантажувати кожну інструкцію в кожну сесію
Більшість людей зосереджуються на покращенні промптів. Вони ігнорують те, що відбувається до початку промпту. Вони завантажують занадто багато інструкцій у контекст асистента.
Це спричиняє три проблеми:
- Висока вартість токенів.
- Висока затримка.
- Низьке співвідношення сигналу до шуму.
Коли ви завантажуєте величезний файл інструкцій для кожного дрібного запитання, це схоже на читання цілого посібника для працівників перед тим, як поставити просте питання. Більша частина цієї інформації є марною для поточного завдання.
Чим більше правил ви додаєте, тим більше розмиваєте релевантні частини. Більше контексту не означає більше компетентності.
Я вирішив це, перейшовши від одного файлу до модульної системи. Я розділив свої інструкції на спеціалізовані модулі:
• instructions.md: Невелика точка входу, яка завантажується завжди. • persona.md: Особистість та тон. • structure.md: Структура системи для завдань з навігації. • workflows.md: Специфічні правила для завершення сесій.
Тепер основний файл діє як роутер. Він викликає інші модулі лише тоді, коли цього вимагає завдання.
Наприклад:
- Якщо вам потрібно навігувати по проєкту, завантажте structure.md.
- Якщо вам потрібно завершити сесію, завантажте workflows.md.
- Якщо у вас коротке запитання, не завантажуйте нічого іншого.
Результати були очевидними. Моє базове навантаження токенами впало з 4 800 токенів до 1 450 токенів. Це скорочення на 70%.
Мета не в тому, щоб зробити інструкції меншими. Мета полягає в тому, щоб відокремити базове навантаження від навантаження за запитом.
Базове навантаження — це те, за що ви платите щоразу. Ви повинні тримати його мінімальним. Навантаження за запитом — це те, що ви завантажуєте лише тоді, коли це важливо. Воно може бути великим і детальним.
Цей підхід має свої компроміси. Ви отримуєте ефективність, але додаєте складності в тому, як маршрутизувати інструкції. Ви повинні переконатися, що асистент може надійно отримувати доступ до модулів.
Якщо ваші інструкції невеликі, не робіть цього. Це марна трата часу. Якщо ваш набір інструкцій величезний і постійно зростає, зробіть це негайно.
Припиніть змушувати асистента нести зайвий вантаж. Не захаращуйте простір нерелевантними інструкціями.
Optional learning community: https://t.me/GyaanSetuAi