Розквіт агентної інженерії: Борг промптів

Написання промптів звичайною англійською мовою здається магією. Ви вводите те, що хочете, і з'являється прототип. Але для довгострокових систем ця магія стає пасткою.

Ймовірно, ви накопичуєте борг промптів.

Борг промптів виникає тоді, коли ви використовуєте природну мову для керування моделлю замість точної інженерії. Це створює три величезні проблеми:

  • Ітерації сповільнюються. Ви додаєте більше тексту, щоб виправити одну помилку, але цей текст ламає щось інше. Незабаром ваш промпт перетворюється на безлад із повторюваних інструкцій.
  • Ваша команда втрачає контроль. Промпт, переповнений попередженнями великими літерами та розбором граничних випадків, неможливо прочитати або керувати ним колезі.
  • Ви стаєте прив'язаними до однієї моделі. Промпт, налаштований під одну модель, часто не працює на новішій, кращій версії. Команди залишаються на старих, дорогих моделях, бо бояться зламати свою систему.

Це стається тому, що ви боретеся з вагами. Коли модель чинить опір вашій інструкції, ви повторюєте її. Кожна повторена або акцентована інструкція — це рубцева тканина. Вона показує, де навчання моделі суперечить вашому наміру.

Природна мова занадто неточна для інженерії. Незначні зміни у формулюванні можуть докорінно змінити поведінку моделі. Навіть непов'язані факти в промпті можуть змінити те, як модель реагує.

Як це виправити?

Ви повинні припинити писати промпти вручну і почати визначати поведінку за допомогою вимірювань.

  • Промпт — це абзац тексту, якому, як ви сподіваєтеся, модель буде слідувати.
  • Метрика — це контракт, який модель повинна виконати.

Майбутнє інженерії полягає у переході від «промптингу» до «програмування». Такі інструменти, як DSPy та GEPA, дозволяють визначити ціль і метрику. Потім система шукає найкращий промпт для досягнення цієї цілі.

Це перетворює промптинг на скомпільований артефакт. Якщо з'явиться нова, дешевша модель, ви не панікуєте. Ви просто запускаєте свої метрики на новій моделі та генеруєте промпт заново.

Подібно до того, як інженери перейшли від мови асемблера до компіляторів, інженери ШІ мають перейти від ручного налаштування рядків до оптимізації метрик.

Припиніть задобрювати модель магічними словами. Почніть будувати за допомогою вимірюваних специфікацій.

Source: https://dev.to/raminjafary/the-rise-of-agentic-engineering-part-6-prompt-debt-the-limits-of-natural-language-28oi

Optional learning community: https://t.me/GyaanSetuAi