The Rise of Agentic Engineering: Prompt Debt

Pisanie promptów w zwykłym języku angielskim wydaje się magią. Wpisujesz to, czego chcesz, a pojawia się prototyp. Jednak w przypadku długoterminowych systemów ta magia staje się pułapką.

Prawdopodobnie gromadzisz dług promptowy.

Dług promptowy powstaje, gdy używasz języka naturalnego do kontrolowania modelu zamiast precyzyjnej inżynierii. Powoduje to trzy ogromne problemy:

  • Iteracja zwalnia. Dodajesz więcej tekstu, aby naprawić jeden błąd, ale ten tekst psuje coś innego. Wkrótce Twój prompt staje się chaosem powtarzających się instrukcji.
  • Twój zespół traci kontrolę. Prompt wypełniony ostrzeżeniami zapisanymi wielkimi literami i przypadkami brzegowymi jest niemożliwy do przeczytania lub zarządzania przez współpracownika.
  • Zostajesz uwięziony w jednym modelu. Prompt dostrojony pod jeden model często zawodzi na nowszej, lepszej wersji. Zespoły zostają przy starych, drogich modelach, ponieważ boją się zepsuć swój system.

Dzieje się tak, ponieważ walczysz z wagami. Gdy model stawia opór Twojej instrukcji, powtarzasz ją. Każda powtórzona lub wyeksponowana instrukcja jest jak tkanka bliznowata. Pokazuje ona, gdzie proces trenowania modelu walczy z Twoimi intencjami.

Język naturalny jest zbyt niedokładny dla inżynierii. Małe zmiany w sformułowaniach mogą odwrócić zachowanie modelu. Nawet niepowiązane fakty w prompcie mogą zmienić sposób, w jaki model odpowiada.

Jak to naprawić?

Musisz przestać pisać prompty ręcznie i zacząć definiować zachowanie za pomocą pomiarów.

  • Prompt to akapit, którego przestrzegania spodziewasz się od modelu.
  • Metryka to kontrakt, który model musi spełnić.

Przyszłość inżynierii to przejście od „promptowania” do „programowania”. Narzędzia takie jak DSPy i GEPA pozwalają zdefiniować cel i metrykę. System przeszukuje następnie najlepszy prompt, aby osiągnąć ten cel.

To zmienia promptowanie w skompilowany artefakt. Jeśli pojawi się nowy, tańszy model, nie wpadasz w panikę. Po prostu uruchamiasz swoje metryki względem nowego modelu i regenerujesz prompt.

Tak jak inżynierowie przeszli od języka asemblera do kompilatorów, tak inżynierowie AI muszą przejść od ręcznego dostrajania ciągów znaków do optymalizacji metryk.

Przestań przekupywać model magicznymi słowami. Zacznij budować w oparciu o mierzalne specyfikacje.

Source: https://dev.to/raminjafary/the-rise-of-agentic-engineering-part-6-prompt-debt-the-limits-of-natural-language-28oi

Optional learning community: https://t.me/GyaanSetuAi