Inżynieria osłon nie ma stałego adresu
Inżynieria osłon to nie miejsce w Twoim stosie technologicznym. To cecha Twojego kodu.
Wiele osób uważa, że osłona to po prostu wrapper wokół modelu AI. To błąd. To właśnie osłona sprawia, że model staje się użyteczny w realnym biznesie.
Stosuję prosty wzór: Agent = Model × Osłona.
Model to silnik. Osłona to kierownica, hamulce i barierki bezpieczeństwa.
Ale tu pojawia się problem. Model stale rośnie. Każda nowa wersja modelu wchłania elementy osłony.
- Modele rozumujące obsługują teraz logikę chain-of-thought.
- Lepsze modele natywnie obsługują użycie narzędzi.
- Długie okna kontekstowe zastępują stare systemy pamięci.
Jeśli model „zje” osłonę, to co zostanie do zbudowania?
Elementy, które „stopnieją”, to mechanika. Pętle, ponowienia i łączenie pamięci staną się powszechnie dostępnymi standardami. Nie stawiaj swojej kariery na budowaniu „instalacji”.
Elementy, które zostaną, to specyfikacja i weryfikacja.
- Specyfikacja: Musisz zdefiniować, co agent może robić. Model nie może znać Twojej konkretnej polityki zwrotów ani Twojej tolerancji ryzyka. To znajduje się w Twoim kodzie.
- Weryfikacja: Musisz udowodnić, że agent trzymał się Twoich zasad. Model nie może polegać na sobie w procesie oceny. Potrzebujesz zewnętrznej warstwy, aby sprawdzać wykonaną pracę.
Pomyśl o agencie ds. zwrotów.
Jeśli umieścisz limit zwrotu w prompcie, użytkownik może oszukać model. Jeśli umieścisz limit w instrukcji if w swoim kodzie, model nie będzie mógł z tym dyskutować.
Ta instrukcja if to właśnie inżynieria osłon.
Inżynieria osłon sprowadza się do dwóch rzeczy:
- Definiowania zakresu dozwolonych zachowań.
- Udowadniania, że agent pozostał w jego granicach.
Model to roślina, którą kontrolujesz. Specyfikacja to Twój cel. Osłona to kontroler. Ewaluacje to informacja zwrotna.
Narzędzia i mechanika będą zmieniać się co miesiąc. Dyscyplina specyfikacji i weryfikacji – nie.
Przestań budować „instalacje”. Zacznij budować ograniczenia i dowody.
Source: https://dev.to/saurav_bhattacharya/harness-engineering-has-no-fixed-address-2m7a
Optional learning community: https://t.me/GyaanSetuAi