Контекстная инженерия для промпт-инженеров

Говорят, что промпт-инженерия мертва. Говорят, что её заменила контекстная инженерия. Это не так.

Промпт-инженерия — это лишь часть контекстной инженерии. Промптинг — это то, что вы говорите. Контекстная инженерия — это всё, что видит модель. Сюда входят системные промпты, определения инструментов, извлеченные документы и память.

Ваш промпт — это лишь один фрагмент большой мозаики. Площадь охвата стала больше.

Не пытайтесь использовать огромные окна контекста для решения всех задач. Окно в миллион токенов не означает миллион токенов полезного внимания. Избыток входных данных может даже ухудшить работу модели.

Вам следует опасаться двух основных проблем:

• «Потеря в середине» (Lost in the middle): модели лучше всего фокусируются на начале и конце промпта. Им трудно работать, когда важные данные находятся в середине. • «Деградация контекста» (Context rot): способность к рассуждению и извлечению информации ухудшается по мере роста длины входных данных. Даже простые задачи становятся сложнее для модели, когда окно заполнено.

Цель состоит в том, чтобы найти минимальный набор высокоинформативных токенов, которые позволят выполнить задачу. Относитесь к окну контекста как к бюджету.

Используйте эти шесть паттернов для управления вашим бюджетом:

• Бюджетирование внимания: удаляйте весь шаблонный и избыточный текст. Используйте только высокоинформативный контент. • Размещение извлеченных данных: помещайте релевантные данные в начало или в конец. Избегайте размещения критически важной информации в середине. • Форматирование результатов инструментов: возвращайте сжатые данные. Не сваливайте огромные API-объекты в окно контекста. • Проектирование схем: используйте структурированные выводы. Поддерживайте низкий уровень вложенности, чтобы избежать ошибок. • Разделение системного промпта и реплик: храните основные правила в системном промпте, а конкретные данные — в репликах пользователя. • Память и сжатие: сохраняйте состояние вне окна контекста. Резюмируйте старые данные, чтобы поддерживать нить диалога.

Контекстная инженерия — это не только RAG. Это вопрос размещения и сдержанности. Если вы уже умеете составлять промпты, вы не начинаете с нуля. Вы учитесь управлять бюджетом, который расходует ваш промпт.

Источник: https://dev.to/anoopk/context-engineering-for-people-who-already-know-how-to-prompt-2pj1

Дополнительное обучающее сообщество: https://t.me/GyaanSetuAi