Der Aufstieg des Agentic Engineering: Prompt Debt
Prompts in einfachem Englisch zu schreiben, fühlt sich wie Magie an. Man tippt ein, was man möchte, und ein Prototyp erscheint. Doch bei langfristigen Systemen wird diese Magie zur Falle.
Wahrscheinlich häufen Sie gerade Prompt Debt an.
Prompt Debt entsteht, wenn man natürliche Sprache zur Steuerung eines Modells verwendet, anstatt präzises Engineering einzusetzen. Dies führt zu drei massiven Problemen:
- Die Iteration verlangsamt sich. Man fügt mehr Text hinzu, um einen Fehler zu beheben, aber dieser Text verursacht an anderer Stelle einen neuen Fehler. Bald ist der Prompt ein Chaos aus sich wiederholenden Anweisungen.
- Das Team verliert die Kontrolle. Ein Prompt, der mit Warnungen in Großbuchstaben und Edge Cases überladen ist, lässt sich für Kollegen kaum noch lesen oder verwalten.
- Man wird an ein einzelnes Modell gebunden. Ein auf ein Modell abgestimmter Prompt scheitert oft an einer neueren, besseren Version. Teams bleiben bei alten, teuren Modellen hängen, weil sie befürchten, ihr System zu beschädigen.
Das passiert, weil man gegen die Gewichte (Weights) ankämpft. Wenn ein Modell der Anweisung widersteht, wiederholt man sie. Jede wiederholte oder betonte Anweisung ist wie Narbengewebe. Sie zeigt, wo das Training des Modells gegen die eigene Absicht arbeitet.
Natürliche Sprache ist für Engineering zu unpräzise. Kleine Änderungen in der Formulierung können das Verhalten eines Modells komplett umkehren. Selbst nicht zusammenhängende Fakten in einem Prompt können die Art und Weise verändern, wie ein Modell antwortet.
Wie lässt sich das beheben?
Man muss aufhören, Prompts von Hand zu schreiben, und stattdessen beginnen, das Verhalten durch Messwerte zu spezifizieren.
- Ein Prompt ist ein Absatz, von dem man hofft, dass das Modell ihn befolgt.
- Eine Metrik ist ein Vertrag, den das Modell erfüllen muss.
Die Zukunft des Engineerings bewegt sich vom „Prompting“ hin zum „Programming“. Tools wie DSPy und GEPA ermöglichen es, ein Ziel und eine Metrik zu definieren. Das System sucht dann nach dem besten Prompt, um dieses Ziel zu erreichen.
Dies macht das Prompting zu einem kompilierten Artefakt. Wenn ein neues, günstigeres Modell erscheint, gerät man nicht in Panik. Man lässt einfach seine Metriken gegen das neue Modell laufen und generiert den Prompt neu.
Genau wie Ingenieure von Assemblersprache zu Compilern übergingen, müssen KI-Ingenieure vom manuellen Tuning von Strings hin zur Optimierung von Metriken übergehen.
Hören Sie auf, das Modell mit Zauberwörtern zu überreden. Beginnen Sie damit, mit messbaren Spezifikationen zu bauen.
Optional learning community: https://t.me/GyaanSetuAi