Inżynieria kontekstu dla inżynierów promptów
Ludzie mówią, że prompt engineering umarł. Twierdzą, że zastąpiła go inżynieria kontekstu. To nieprawda.
Prompt engineering to tylko jeden element inżynierii kontekstu. Prompting to to, co mówisz. Inżynieria kontekstu to wszystko, co widzi model. Obejmuje to system prompts, definicje narzędzi, pobrane dokumenty oraz pamięć.
Twój prompt to tylko jeden element większej układanki. Powierzchnia oddziaływania właśnie się powiększyła.
Nie próbuj używać ogromnych okien kontekstowych, aby rozwiązać każdy problem. Okno o długości miliona tokenów nie oznacza miliona tokenów użytecznej uwagi. Większa ilość danych wejściowych może w rzeczywistości pogorszyć działanie modeli.
Musisz uważać na dwa główne problemy:
• Lost in the middle: Modele najlepiej skupiają się na początku i końcu promptu. Mają trudności, gdy ważne dane znajdują się w środku. • Context rot: Zdolność rozumowania i przywoływania informacji pogarsza się wraz ze wzrostem długości danych wejściowych. Nawet proste zadania stają się dla modelu trudniejsze, gdy okno jest pełne.
Celem jest znalezienie najmniejszego zestawu tokenów o wysokim sygnale, które pozwolą wykonać zadanie. Traktuj swoje okno kontekstowe jak budżet.
Użyj tych sześciu wzorców, aby zarządzać swoim budżetem:
• Attention budgeting: Usuń wszystkie teksty szablonowe i redundantne. Używaj tylko treści o wysokim sygnale. • Retrieval placement: Umieszczaj istotne dane na początku lub na końcu. Unikaj umieszczania krytycznych informacji w środku. • Tool-result formatting: Zwracaj skondensowane dane. Nie wrzucaj dużych obiektów API do okna kontekstowego. • Schema design: Używaj ustrukturyzowanych wyjść. Utrzymuj niski poziom zagnieżdżenia, aby zapobiegać błędom. • System vs. turn separation: Zasady podstawowe trzymaj w system prompt. Konkretne dane trzymaj w turach użytkownika. • Memory and compaction: Zapisuj stan poza oknem kontekstowym. Podsumowuj stare dane, aby utrzymać wątek.
Inżynieria kontekstu to nie tylko RAG. Chodzi o rozmieszczenie i powściągliwość. Jeśli już dobrze tworzysz prompty, nie zaczynasz od nowa. Uczysz się zarządzać budżetem, który zużywa Twój prompt.
Źródło: https://dev.to/anoopk/context-engineering-for-people-who-already-know-how-to-prompt-2pj1
Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi